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FOREWORD 


当前 信息 产业 发 展 很 快 ,需要 大 量 从 事 信息 、 通 信 、 电 子 工程 类 专业 的 人 才 , 而 “信息 论 
与 编码 "是 这 些 专 业 的 基础 ,必须 掌握 , 它 可 以 指导 理论 研究 和 工程 应 用 。 

由 于 “信息 论 与 编码 ”介绍 的 是 信息 论 基 础 和 编码 理论 ,内 容 本 身 理论 性 很 强 , 本 书 针对 
电子 信息 类 相关 专业 的 本 科 生 及 相关 专业 的 工程 技术 人 员 ,重点 介绍 有 关 信 息 理论 的 基本 
知识 ,注重 基本 概念 ,用 较 通 俗 的 文字 解释 其 物理 意义 , 辅 以 大 量 的 例题 和 图 示 说 明 , 并 且 联 
系 当前 实际 通信 技术 来 讲述 ,使 读者 研读 本 书后 概念 清晰 ,有 目标 地 应 用 在 实际 工作 中 。 

本 书 共 分 8 章 , 第 1 章 是 绪论 。 第 2 章 介 绍 信 息 论 的 一 些 基 本 概念 ,包括 自信 息 量 、 互 
信息 量 、 离 散 信 源 炉 、 炉 的 性 质 以 及 连续 信 源 炉 .最 大 炉 定理 等 ,对 信 源 的 信息 给 出 定量 描 
述 ,并 解释 完 余 度 的 由 来 及 作用 。 这 一 章 是 后 续 章 节 的 基础 。 

第 3 章 介绍 信道 的 分 类 及 其 表示 参数 ,讨论 各 种 信道 能 够 达到 的 最 大 传输 速率 , 即 信道 
的 容量 及 其 计算 方法 。 

第 4 章 介绍 失真 函数 和 信息 率 失真 函数 的 定义 及 性 质 , 给 出 在 一 定 失 真 限度 内 信 源 必 
须 输出 的 最 小 传输 速率 。 

第 5 章 介绍 信 源 编码 ,首先 给 出 无 失真 信 源 编码 定理 和 限 失 真 信 源 编码 定理 ,其 中 无 失 
真 信 源 编码 定理 包括 定 长 编码 定理 和 变 长 编码 定理 ,并 详细 阐述 最 佳 无 失真 编码 中 的 香农 
码 和 哈 夫 曼 码 的 编码 方法 及 其 性 能 比较 。 最 后 简单 提 及 常用 的 几 种 信 源 编码 方法 。 

第 6 章 介绍 信道 编码 ,在 阐述 信道 编码 定理 .差错 控制 与 信道 编译 码 的 基本 原理 之 后 ， 
详细 介绍 最 基本 ,也 是 最 常用 的 几 种 信道 编码 方法 ,包括 线性 分 组 码 、 卷 积 码 、 级 联 码 等 。 

第 7 章 在 介绍 密码 体制 的 基础 知识 及 其 与 炉 的 关系 后 , 简 述 具有 代表 性 的 秘密 密 钥 加 
密 算法 DES、IDEA 和 公开 密 钥 加 密 算法 RSA、MD5 等 ,还 引入 信息 安全 性 概念 以 及 数字 签 


名 、 防 火 墙 等 技术 。 
第 8 章 简单 介绍 网 络 信息 理论 ,包括 网 络 信道 的 分 类 、 多 址 接 和 人 信道 的 容量 和 相关 信 源 
编码 等 。 


本 书 由 曹 雪 虹 主编 。 第 6 章 由 张 宗 橙 编 写 , 其 余 各 章 由 曹 雪 虹 编写 。 在 编写 过 程 中 ,得 
到 了 徐 澄 折 教授 、 胡 建 彰 教授 的 大 力 帮助 ,在 此 表示 衷心 的 感谢 。 
限于 编者 的 水 平 , 书 中 不 妥 或 廖 误 之 处 在 所 难免 , 肌 切 希望 读者 指正 。 


编 者 
2016 年 3 月 
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全 Ar 1 = 
1 


科学 技术 的 发 展 使 人 类 跨 和 了 高 速 发 展 的 信息 化 时 代 。 在 政治 军事、 经 济 等 各 个 领 
域 ,信息 的 重要 性 不 言 而 喻 ,有 关 信 息 理论 的 研究 正 越 来 越 受到 重视 。 

人 们 在 自然 和 社会 活动 中 ,获取 信息 并 对 其 进行 传输 交换、 处 理 、 检 测 、 识 别 、 存 储 、 显 
示 等 操作 ,研究 这 些 内 容 的 科学 就 是 信息 科学 。 信 息 论 (information theory) 是 信息 科学 的 
主要 理论 基础 之 一 , 它 主要 研究 可 能 性 和 存在 性 问题 ,为 具体 实现 提供 理论 依据 。 与 之 对 应 
的 是 信息 技术 (information technology) , 它 主要 研究 怎样 实现 的 问题 。 

本 章 首先 介绍 信息 论 的 形成 和 发 展 、 信 息 论 研究 的 内 容 及 信息 的 基本 概念 ,接着 结合 j 
信 系 统 模型 介绍 模型 中 各 部 分 的 作用 、 编 码 的 种 类 和 研究 内 容 , 最 后 介绍 信息 论 的 应 用 。 


1.1 信息 论 的 形成 和 发 展 


信息 论 理论 基础 的 建立 ,一 般 来 说 开始 于 香农 (Shannon) 在 研究 通信 系统 时 所 发 表 的 
论文 。 随 着 研究 的 深入 与 发 展 , 信 息 论 有 了 更 为 宽广 的 内 容 。 

信息 在 早 些 时 期 的 定义 是 由 奈 奎 斯 特 (Nyquist) 和 哈 特 利 (Hartley) 在 20 世纪 20 年 代 
提出 来 的 。1924 年 奈奈 斯 特 解释 了 信号 带宽 和 信息 速率 之 间 的 关系 ; 1928 年 哈 特 利 最 早 
研究 了 通信 系统 传输 信息 的 能 力 ,给 出 了 信息 度量 方法 ; 1936 年 阿姆斯特朗 (Armstrong) 
提出 了 增 大 带宽 可 以 加 强 抗 干扰 能 力 。 这 些 工 作 都 给 香农 很 大 的 影响 ,他 在 1941 一 1944 年 
对 通信 和 密码 进行 深入 研究 ,并 用 概率 论 的 方法 研究 通信 系统 ,揭示 了 通信 系统 传递 的 对 象 
就 是 信息 ,并 对 信息 给 以 科学 的 定量 描述 ,提出 了 信息 炉 的 概念 。 他 还 指出 通信 系统 的 中 心 
问题 是 在 噪声 下 如 何 有 效 而 可 靠 地 传送 信息 ,而 实现 这 一 目标 的 主要 方法 是 编码 等 。 这 一 
成 果 于 1948 年 以 A mathematical theory of communication (通信 的 数学 理论 ) 为 题 公开 发 
表 , 这 是 一 篇 关于 现代 信息 论 的 开创 性 的 权威 论文 ,为 信息 论 的 创立 作出 了 独特 的 贡献 , 香 
农 因 此 成 为 信息 论 的 葛 基 人 。 

20 世纪 50 年 代 信息 论 在 学 术 界 引起 了 巨大 的 反响 。1951 年 美国 IRE 成 立 了 信息 论 
组 ,并 于 1955 年 正式 出 版 了 信息 论 汇 刊 。20 世纪 60 年 代 信 道 编码 技术 有 了 较 大 进展 ,成 
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为 信息 论 的 又 一 重要 分 支 。 信 道 编 码 技术 把 代数 方法 引入 纠 错 码 的 研究 ,使 分 组 码 技术 发 
展 到 了 高 峰 , 找 到 了 大 量 可 纠正 多 个 错误 的 码 , 而 且 提 出 了 可 实现 的 译 码 方 法 。20 世纪 
70 年 代 卷 积 码 和 概率 译 码 有 了 重大 突破 ,提出 了 序列 译 码 和 Viterbi 译 码 方法 ,并 被 美国 卫星 
通信 系统 采用 ,这 使 香农 理论 成 为 真正 具有 实用 意义 的 科学 理论 。1982 年 温 伯 格 
(Ungerboeck) 提 出 了 将 信道 编码 和 调制 结合 在 一 起 的 网 格 编码 调制 方法 ,该 方法 无 需 增 大 
带宽 和 功率 ,以 增加 设备 的 复杂 度 换 取 编 码 增益 ,受到 了 广泛 关注 ,在 目前 的 通信 系统 中 占 
据 统治 地 位 。 

信 源 编码 的 研究 落后 于 信道 编码 。 香 农 在 1948 年 的 论文 中 提出 了 无 失真 信 源 编码 定 
理 , 也 给 出 了 简单 的 编码 方法 香农 码 。1952 年 费 诺 (Fano) 和 哈 夫 曼 (Huffman) 分 别提 
出 了 各 自 的 编码 方法 ,并 证 明 其 方法 都 是 最 佳 编码 法 。1959 年 香农 的 文章 Coding 
theorems for a discrete source with a fidelity criterion( 保 真 度 准则 下 的 离散 信 源 编码 定 
理 ) 系 统 地 提出 了 信息 率 失真 理论 和 限 失 真 信 源 编码 定理 。 这 两 个 理论 是 数据 压缩 的 数学 
基础 ,为 各 种 信 源 编码 的 研究 葛 定 了 基础 。1971 年 伯 格 尔 (Berger) 给 出 了 更 一 般 性 的 率 失 
真 编码 定理 。 随 着 传输 内 容 和 传输 信道 的 发 展 , 人 们 针对 各 种 信 源 的 特性 ,提出 了 大 量 实用 
高 效 的 信 源 编码 方法 。 

到 20 世纪 70 年 代 , 有 关 信 息 论 的 研究 ,从 点 与 点 间 的 单 用 户 通信 推 广发 展 到 多 用 户 系 
统 的 研究 。1972 年 盖 弗 (Cover) 发 表 了 有 关 广 播 信道 的 研究 ,以 后 陆续 进行 了 有 关 多 接 人 
信道 和 广播 信道 模型 及 其 信道 容量 的 研究 。 近 40 多 年 来 ,这 一 领域 的 研究 活跃 ,大 量 的 论 
文 被 发 表 ,使 多 用 户 信息 论 的 理论 日 趋 完整 。 

此 外 ,香农 在 1949 年 发 表 了 论文 “保密 通信 的 信息 理论 ,首先 用 信息 论 的 观点 对 信息 
保密 问题 作 了 全 面 的 论述 。 但 由 于 通信 保密 研究 当时 主要 用 于 政府 和 军 方 , 成 果 很 少 对 外 
公布 ,因此 公开 发 表 的 论文 也 很 少 。 直 到 1976 年 迪 弗 (Diffie) 和 海尔 曼 (Hellman) 发表 了 论 
文 “密码 学 的 新 方向 ”, 提 出 了 公 钥 密码 体制 之 后 ,保密 通信 问题 才 得 到 公开 、 广 泛 的 研究 。 
尤其 是 现在 ,信息 安全 已 成 为 一 个 关系 到 信息 产业 发 展 的 重大 问题 。 因 此 ,密码 学 以 及 信息 
安全 已 经 成 为 各 国 科学 家 研究 的 重点 和 热点 。 

可 见 ,信息论 主要 研究 的 是 通信 的 一 般 理 论 , 在 信息 可 以 量度 的 基础 上 ,研究 有 效 地 、 可 
靠 地 ,安全 地 传递 信息 的 科学 , 它 涉及 信息 量度 、 信 息 特 性 、 信 息 传输 速率 、 信 道 容量 干扰 对 
信息 传输 的 影响 等 方面 的 知识 。 


1.2 信息 理论 研究 的 内 容 


信息 理论 是 信息 科学 的 基础 ,强调 用 数学 语言 来 描述 信息 科学 中 的 共性 问题 及 解决 方 
案 。 目 前 ,这 些 共 性 问题 分 别 集中 在 狭义 信息 论 、 一 般 信息 论 和 广义 信息 论 中 。 

狭义 信息 论 主要 总 结 了 香农 的 研究 成 果 , 因 此 又 称 为 香农 信息 论 。 它 在 信息 可 以 度量 
的 基础 上 ,研究 如 何 有 效 、 可 靠 地 传递 信息 。 有 效 、 可 靠 地 传递 信息 必然 贯穿 于 通信 系统 从 
信 源 到 信和 宿 的 各 个 部 分 ,狭义 信息 论 研究 的 是 收 、 发 端 联合 优化 的 问题 ,而 重点 在 各 种 编码 。 
它 是 通信 中 客观 存在 的 问题 的 理论 提升 。 

一 般 信息 论 研究 从 广义 的 通信 引出 的 基础 理论 问题 ,除了 香农 信息 论 外 ,还 包括 其 他 人 
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的 研究 成 果 , 其 中 最 主要 的 是 维 纳 (Wiener) 的 微弱 信和 号 检测 理论 。 微 弱 信号 检测 又 称 最 佳 
接收 ,是 为 了 确保 信息 传输 的 可 靠 性 ,研究 如 何 从 噪声 和 干扰 中 接收 信道 传输 的 信号 的 理 
论 。 它 主要 研究 两 个 方面 的 问题 : 从 噪声 中 去 判决 有 用 信号 是 否 出 现 和 从 噪声 中 去 测量 有 
用 信号 的 参数 。 该 理论 应 用 近代 数理 统计 的 方法 来 研究 最 佳 接收 的 问题 ,系统 和 定量 地 综 
合 出 存在 噪声 和 干扰 时 的 最 佳 接收 机 结构 ,并 推导 出 这 种 系统 的 极限 性 能 。 除 此 之 外 ,一 般 
信息 论 的 研究 还 包括 噪声 理论 \ 信 号 滤波 与 预测 统计 检测 与 估计 理论 ,调制 理论 \、 信 号 处 理 
与 信和 号 设计 理论 等 。 可 见 它 总 结 了 香农 、 维 纳 以 及 其 他 学 者 的 研究 成 果 , 是 广义 通信 中 客观 
存在 的 问题 的 理论 提升 。 

无 论 是 狭义 信息 论 还 是 一 般 信 息 论 ,讨论 的 都 是 客观 问题 ,然而 , 当 讨 论 信息 的 作用 、 价 
值 等 问题 时 ,必然 涉及 主观 因素 。 广 义 信息 论 研 究 包 括 所 有 与 信息 有 关 的 领域 ,如 心理 学 、 
遗传 学 ,神经 生理 学 ,语言 学 、 社 会 学 等 。 因 此 ,有 人 对 信息 论 的 研究 内 容 进行 了 重新 界定 ， 
提出 从 应 用 性 、 实 效 性 、 意 义 性 或 者 从 语法 .语义 、 语 用 方面 来 研究 信息 ,分 别 与 事件 出 现 的 
概率 、 含 义 及 作用 有 关 , 其 中 意义 性 ,语义 、 语 用 主要 研究 信息 的 意义 和 对 信息 的 理解 , 即 信 
息 所 涉及 的 主观 因素 。 广 义 信 息 论 从 人 们 对 信息 特征 的 理解 出 发 ,从 客观 和 主观 两 个 方面 
全 面 地 研究 信息 的 度量 ,获取 传输、 存储 、 加 工 处 理 、 利 用 以 及 功用 等 ,理论 上 说 是 最 全 面 的 
信息 理论 ,但 由 于 主观 因素 过 于 复杂 ,很 多 问题 本 身 及 其 解释 尚 无 定论 ,或 者 受到 人 类 知识 
水 平 的 限制 目前 还 得 不 到 合理 的 解释 ,因此 广义 信息 论 还 处 于 正在 发 展 的 阶段 。 

信息 在 传输 .存储 和 处 理 的 过 程 中 ,不 可 避免 地 要 受到 噪声 或 其 他 无 用 信号 的 干扰 , 信 
息 理论 就 是 为 了 可 靠 有 效 地 从 数据 中 提取 信息 ,提供 必要 的 根据 和 方法 。 这 就 必须 研究 品 
声 和 干扰 的 性 质 以 及 它们 与 信息 本 质 上 的 差别 ,噪声 与 干扰 往往 具有 按 某 种 统计 规律 的 随 
机 特性 ,信息 则 具有 一 定 的 概率 特性 ,如 度量 信息 量 的 炉 值 就 是 概率 性 质 的 。 因 此 ,信息 论 、 
概率 论 、 随 机 过 程 和 数理 统计 学 ,就 是 信息 论 应 用 的 基础 和 工具 。 

本 书 讲述 的 信息 理论 的 基本 内 容 是 与 通信 科学 密切 相关 的 狭义 信息 论 , 涉 及 信息 理论 
中 很 多 基本 问题 。 例 如 : 

(1) 什么 是 信息 ? 如 何 度 量 信息 ? 

(2) 在 信息 传输 中 ,基本 的 极限 条 件 是 什么 ? 

(3) 对 于 信息 的 压缩 和 恢复 的 极限 条 件 是 什么 ? 

(4) 从 环境 中 抽取 信息 的 极限 条 件 是 什么 ? 

(5) 设计 怎样 的 设备 才能 达到 这 些 极限 ? 

(6) 实际 上 接近 极限 的 设备 是 否 存在 ? 

信息 论 主要 应 用 在 通信 和 领域 ,在 含 噪 信道 中 传输 信息 的 最 优 方法 到 今天 还 不 是 十 分 清 
楚 ,特别 是 在 数据 的 信息 量 大 于 信道 容量 的 情况 下 更 是 一 无 所 知 , 这 是 经 常 遇 到 的 情况 。 
为 从 信 源 提取 的 信息 常常 是 连续 的 , 即 信号 的 信息 含量 为 无 限 大 。 在 一 般 信道 中 传输 这 样 
的 信号 不 可 能 不 产生 误差 的 。 引 入 信道 容量 和 信息 量 的 概念 以 后 ,这 类 问题 便 可 以 得 到 满 
意 的 解释 ,并 可 给 出 最 佳 效果 的 通信 系统 。 因 而 信息 论 为 设计 这 样 的 系统 提供 了 理论 依据 。 

在 通信 理论 中 经 常会 遇 到 信息 、 消 息 和 信号 这 3 个 既 有 联系 又 有 区 别 的 名 词 , 下 面 将 对 
它们 定义 并 作 比 较 。 

信息 是 指 各 个 事物 运动 的 状态 及 状态 变化 的 方式 。 人 们 从 对 周围 世界 的 观察 得 到 的 数 
据 中 获得 信息 。 信 息 是 抽象 的 意识 或 知识 , 它 是 看 不 见 、 摸 不 到 的 。 当 由 人 脑 的 思维 活动 产 
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生 的 一 种 想法 仍 被 存储 在 脑子 里 时 , 它 就 是 一 种 信息 。 

消息 是 指 包含 信息 的 语言 ,文字 和 图 像 等 ,例如 我 们 每 天 从 报纸 .电视 节目 和 互联 网 中 
获得 的 各 种 新 闻 及 其 他 消息 。 在 通信 中 ,消息 是 指 担负 着 传送 信息 任务 的 单个 符号 或 符号 
序列 。 这 些 符 号 包括 字母 文字、 数字 和 语言 等 。 单 个 符号 消息 的 情况 ,例如 用 zi 表示 晴 
天 ,zs 表示 阴 天 ,zs 表示 雨天 ; 符号 序列 消息 的 情况 ,例如 “今天 是 晴天 ”这 一 消息 由 5 个 汉 
字 构 成 。 可 见 消 息 是 具体 的 , 它 载荷 信息 ,但 它 不 是 物理 性 的 。 

信号 是 消息 的 物理 体现 ,为 了 在 信道 上 传输 消息 ,就 必须 把 消息 加 载 (调制 ) 到 具有 某 种 
物理 特征 的 信号 上 去 。 信 号 是 信息 的 载荷 子 或 载体 ,是 物理 性 的 ,如 电信 号 . 光 信 号 等 。 

在 通信 系统 中 传送 的 本 质 内 容 是 信息 ,发 送 端 需 将 信息 表示 成 具体 的 消息 ,再 将 消息 载 
至 信号 上 ,才能 在 实际 的 通信 系统 中 传输 。 信 号 到 了 接收 端 ( 信 息 论 中 称 为 信 宿 ) 经 过 处 理 
变 成 文字 ,语音 或 图 像 等 形式 的 消息 ,人 们 再 从 中 得 到 有 用 的 信息 。 在 接收 端 将 含有 噪声 的 
信号 经 过 各 种 处 理 和 变换 ,从 而 取得 有 用 信息 的 过 程 就 是 信息 提取 ,提取 有 用 信息 的 过 程 或 
方法 主要 有 检测 和 估计 两 类 。 载 有 信息 的 可 观测 、 可 传输 、 可 存储 及 可 处 理 的 信号 , 均 称 为 
数据 。 

信息 的 基本 概念 在 于 它 的 不 确定 性 ,任何 已 确定 的 事物 都 不 含有 信息 。 信 息 的 特征 有 : 

(1) 接收 者 在 收 到 信息 之 前 ,对 其 内 容 是 未 知 的 ,所 以 信息 是 新 知识 、 新 内 容 ; 

(2) 信息 是 能 使 认识 主体 对 某 一 事物 的 未 知性 或 不 确定 性 减少 的 有 用 知识 ; 

(3) 信息 可 以 产生 ,也 可 以 消失 ,同时 信息 可 以 被 携带 、 存 储 及 处 理 ; 

(4) 信息 是 可 以 量度 的 ,信息 量 有 多 少 的 差别 。 

各 类 通信 系统 ,如 电话 广播 电视. 雷达、 遥测 等 传送 的 是 各 种 各 样 的 消息 。 消 息 的 形 
式 可 以 不 同 ,但 它们 都 是 能 被 传递 的 ,能 被 人 们 感觉 器 官 ( 眼 、 耳 、 触 觉 等 ) 所 感知 的 ,而 且 消 
息 表述 的 是 客观 物质 和 主观 思维 的 运动 状态 或 存在 状态 。 在 各 种 通信 系统 中 ,其 传输 的 形 
式 是 消息 。 但 消息 传递 过 程 的 一 个 最 基本 、 最 普通 却 又 不 十 分 引 人 注 意 的 特点 是 : 收 信者 
在 收 到 消息 以 前 不 知道 消息 的 具体 内 容 。 在 收 到 消息 以 前 , 收 信者 无 法 判断 发 送 者 将 会 发 
来 描述 何 种 事物 运动 状态 的 具体 消息 ; 他 更 无 法 判断 是 描述 这 种 状态 还 是 那 种 状态 。 再 
者 ,即使 收 到 消息 ,由 于 干扰 的 存在 ,他 也 不 能 断定 所 得 到 的 消息 是 否 正确 和 可 靠 。 总 之 , 收 
信者 存在 着 “不 知 ”“ 不 确定 ”或 疑问”。 通 过 消息 的 传递 , 收 信 者 知道 了 消息 的 具体 内 容 ， 
原先 的 “不 知 ”“ 不 确定 "和 “疑问 ”消除 或 部 分 消除 了 。 因 此 ,对 收 信者 来 说 ,消息 的 传递 过 
程 是 一 个 从 不 知 到 知 的 过 程 ,或 是 从 知之 其 少 到 知之 其 多 的 过 程 ,或 是 从 不 确定 到 部 分 确定 
或 全 部 确定 的 过 程 。 如 果 不 具 备 这 样 的 特点 , 那 就 根本 不 需要 通信 系统 了 。 试 想 , 如 果 收 信 
者 在 接 到 电话 之 前 就 已 经 知道 电话 的 内 容 , 那 还 要 电话 系统 干什么 呢 ? 


1.3 通信 系统 的 模型 


图 1-1 是 目前 较 常用 的 、 也 较 完整 的 通信 系统 物理 模型 。 下 面 介绍 模型 中 各 部 分 的 作 
用 及 需要 研究 的 核心 问题 。 

1. 信 源 

信 源 是 向 通信 系统 提供 消息 wx 的 人 和 机 器 。 信 源 本 身 十 分 复杂 ,在 信息 论 中 我 们 仅 对 
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图 1-1 通信 系统 的 物理 模型 


信 源 的 输出 进行 研究 。 信 源 输出 的 是 以 符号 形式 出 现 的 具体 消息 , 它 载 荷 信息 。 信 源 输出 
的 消息 可 以 有 多 种 形式 ,但 可 归纳 成 两 类 : 离散 消息 ,例如 由 字母 文字、 数字 等 符号 组 成 的 
符号 序列 ,或 者 单个 符号 ; 连续 消息 ,例如 语音 、 图 像 和 在 时 间 上 连续 变化 的 电 参 数 等 。 
为 通信 系统 的 接收 者 (信和 宿 ) 在 收 到 消息 之 前 并 不 知道 信 源 所 发 出 消息 的 内 容 , 所 以 一 般 地 
说 信 源 发 出 的 是 随机 性 的 消息 。 但 因 信 源 发 出 的 消息 都 携带 着 信息 ,消息 的 变化 具有 一 定 
规律 性 ,因此 严格 地 说 信 源 发 出 的 消息 并 不 是 完全 随机 性 的 。 信 源 的 核心 问题 是 它 包 含 的 
信息 到 底 有 多 少 ,怎样 将 信息 定量 地 表示 出 来 , 即 如 何 确定 信息 量 。 

2. 信 宿 

信和 宿 是 消息 传递 的 对 象 , 即 接收 消息 的 人 或 机 器 。 根 据 实际 需要 , 信 宿 接收 的 消息 wv 的 
形式 可 以 与 信 源 发 出 的 消息 w 相同 ,也 可 以 不 相同 , 当 两 者 形式 不 相同 时 ,wv 是 的 一 个 映 
射 。 信 和 宿 需 要 研究 的 问题 是 能 收 到 或 提取 多 少 信息 。 

3. 信道 

信道 是 传递 消息 的 通道 ,又 是 传送 物理 信号 的 设施 。 信 道 可 以 是 一 对 导线 、 一 条 同 轴 电 
缆 、 传 输电 磁 波 的 空间 、 一 条 光纤 等 传输 信号 的 介质 。 信 道 的 问题 主要 是 它 能 够 传送 多 少 信 
息 , 即 信道 容量 的 大 小 。 

4. 干扰 源 

干扰 源 是 整个 通信 系统 中 各 个 干扰 的 集中 反映 ,用 来 表示 消息 在 信道 中 传输 时 遭受 干 
扰 的 情况 。 对 于 任何 通信 系统 而 言 ,干扰 的 性 质 和 大 小 是 影响 系统 性 能 的 重要 因素 。 

5. 密 钥 源 

密 钥 源 是 产生 密 钥 & 的 源 。 信 道 编码 器 输出 信号 zx 经 过 k 的 加 密 运算 后 ,就 把 明文 x 
变换 为 密 文 y。 若 窃听 者 未 掌握 发 送 端 采用 的 密 钥 &, 则 很 难 从 窃听 到 的 信号 > 解 出 明文 
z。 而 接收 端的 信 宿 因 知道 事先 已 约定 好 的 密 钥 &, 因 此 能 从 收 到 的 信号 = 中 解 出 明文 x。 
对 于 二 进 制 的 代码 而 言 ,加 密 相当 于 y= 二 x 中 p 运算 (其 中 序列 p 通常 是 受 密 钥 控制 的 伪 随 
机 序列 ) ,而 解密 则 相当 于 x' 二 yp 运算 。 这 里 x'、y'、x' 之 所 以 不 同 于 发 送 端 的 xz、y、x， 
是 因为 考虑 到 信号 = 在 信道 中 传输 时 所 受到 的 干扰 影响 。 但 在 正常 通信 条 件 下 ,总 会 有 
ATyy Ty Nz 的 结果 。 

一 般 地 说 ,通信 系统 的 性 能 指标 主要 是 有 效 性 、 可 靠 性 、 安 全 性 和 经 济 性 。 通 信 系统 优 
化 就 是 使 这 些 指标 达到 最 佳 。 除 了 经 济 性 外 ,这 些 指标 正 是 信息 论 的 研究 对 象 ,可 以 通过 各 
种 编码 处 理 来 使 通信 系统 的 性 能 最 优化 。 根 据 信息 论 的 各 种 编码 定理 和 上 述 通 信 系 统 的 指 
标 ,编码 问题 可 分 解 为 三 类 : 信 源 编码 、 信 道 编码 和 加 密 编码 。 

1. 信 源 编码 

信 源 编码 器 的 作用 有 两 个 ,一 是 把 信 源 发 出 的 消息 变换 成 由 二 进 制 码 元 (或 多 进 制 码 
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元 ) 组 成 的 代码 组 ,这 种 代码 组 就 是 基带 信号 ; 另 一 个 作用 是 通过 信 源 编码 可 以 压缩 信 源 的 
元 余 度 ( 即 多 余 度 ) ,以 提高 通信 系统 传输 消息 的 效率 。 信 源 编码 可 分 为 无 失真 信 源 编码 和 
限 失 真 信 源 编码 。 前 者 适用 于 离散 信 源 或 数字 信号 ; 后 者 主要 用 于 连续 信 源 或 模拟 信号 ， 
如 语音 、 图 像 等 信号 的 数字 处 理 。 从 提高 通信 系统 的 有 效 性 意义 上 说 , 信 源 编码 器 的 主要 指 
标 是 其 编码 效率 , 即 理论 上 所 需 的 码 率 与 实际 达到 的 码 率 之 比 。 一 般 来 说 ,效率 越 高 ,编译 
码 器 的 代价 也 将 越 大 。 信 源 译 码 器 的 作用 是 把 信道 译 码 器 输出 的 代码 组 变换 成 信 宿 所 需要 
的 消息 形式 , 它 的 作用 相当 于 信 源 编码 器 的 逆 过 程 。 

2. 信道 编码 

信道 编码 器 的 作用 是 在 信 源 编码 器 输出 的 代码 组 上 有 目的 地 增加 一 些 监督 码 元 ,使 之 
有 具有 检 错 或 纠 错 的 能 力 。 信 道 译 码 器 具有 检 错 或 纠 错 的 功能 , 它 能 对 落 在 其 检 错 或 纠 错 范 
围 内 的 错 传 码 元 进行 检 错 或 纠 错 , 以 提高 传输 消息 的 可 靠 性 。 信 道 编码 包括 调制 解 调和 纠 
错 检 错 编译 码 。 信 道中 的 干扰 常 使 通信 质量 下 降 , 对 于 模拟 信号 ,表现 在 收 到 的 信号 的 信 噪 
比 下 降 ; 对 于 数字 信号 ,就 是 误 码 率 增 大 。 信 道 编码 的 主要 方法 是 增 大 码 率 或 频带 , 即 增 大 
所 需 的 信道 容量 。 这 恰 与 信 源 编码 相反 。 

3. 加 密 编码 

加 密 编 码 是 研究 如 何 隐蔽 消息 中 的 信息 内 容 , 以 便 它 在 传输 过 程 中 不 被 窍 听 ,提高 通信 
系统 的 安全 性 。 将 明文 变换 成 密 文 ,通常 不 需要 增 大 信道 容量 ,例如 在 二 进 码 信息 流 上 释 加 
一 密 钥 流 。 但 也 有 些 密码 要 求 占 用 较 大 的 信道 容量 。 

在 实际 问题 中 ,上 述 三 类 编码 应 统一 考虑 ,以 提高 通信 系统 的 性 能 。 这 些 编码 的 目标 往 
往 是 相互 矛盾 的 。 提 高 有 效 性 必须 去 掉 信 源 符号 中 的 宛 余 部 分 ,此 时 信道 误 码 会 使 接收 端 
不 能 恢复 原来 的 信息 ,这 就 需要 相应 提高 传送 的 可 靠 性 ,不 然 会 使 通信 质量 下 降 ; 反之 ,为 
了 可 靠 而 采用 信道 编码 ,往往 需 扩大 码 率 ,也 就 降低 了 有 效 性 。 安 全 性 也 有 类 似 情 况 。 编 成 
密码 ,有 时 需 扩 展 码 位 ,这 样 就 降低 了 有 效 性 ; 有 时 也 会 因 收 、 发 两 端 不 同步 而 使 授权 用 户 
无 法 获得 信息 ,必须 重 发 而 降低 有 效 性 ,或 丢失 信息 而 降低 可 靠 性 。 从 理论 上 说 , 若 能 把 3 
种 编码 合并 成 一 种 码 来 编译 , 即 同时 考虑 有 效 性 可靠 性 和 安全 性 ,可 使 编译 码 器 更 理想 化 ， 
在 经 济 上 也 可 能 更 优越 。 这 种 三 码 合 一 的 设想 是 当前 众 所 关 心 的 课题 ; 但 从 理论 上 和 技术 
上 的 复杂 性 看 ,要 取得 有 用 的 结果 ,还 是 相当 困难 的 。 值 得 注意 的 是 ,信息 论 分 析 的 问题 是 
存在 性 问题 , 即 符合 条 件 的 编码 是 否 存在 ,但 并 没有 给 出 寻找 编码 的 方法 。 

本 书 讨论 编码 问题 ,着 重 介绍 信 源 和 信道 的 编码 定理 。 限 于 课时 ,主要 从 概念 上 解释 这 
些 定理 的 结论 ,并 没有 从 严格 意义 上 加 以 证 明 。 而 对 于 加 密 编码 , 仅 介 绍 了 保密 通信 中 的 一 
些 基 本 知识 。 这 里 首先 举 几 个 例子 来 说 明 编码 的 应 用 ,例如 电报 常用 的 摩尔 斯 (Morse) 码 
就 是 按 信息 论 的 基本 编码 原则 设计 出 来 的 。 又 如 ,在 一 些 商品 上 面 有 一 张 由 粗细 条 纹 组 成 
的 标签 ,从 这 张 标签 可 以 得 知 该 商品 的 生产 厂家 、 生 产 日 期 和 价格 等 信息 ,这 些 标签 是 利用 
条 形 码 设计 出 来 的 ,非常 方便 ,非常 有 用 ,应 用 越 来 越 普遍 。 再 如 ,计算 机 的 运算 速度 很 高 ， 
又 要 保证 它 儿 乎 不 出 差错 ,相当 于 要 求 它 在 100 年 的 时 间 内 不 得 有 一 秒 钟 的 误差 ,这 就 需要 
利用 纠 错 码 来 自动 、 及 时 地 纠正 所 发 生 的 错误 。 每 出 版 一 本 书 , 都 给 定 一 个 国际 标准 书号 
(ISBN) ,这 大 大 方便 了 图 书 的 销售 编目 和 收藏 工作 。 可 以 说 ,人 们 在 日 常生 活 和 生产 实践 
中 ,正在 越 来 越 多 地 使 用 编码 技术 。 

顺便 指出 : 不 是 所 有 的 通信 系统 都 采用 如 图 1-1 所 示 的 那样 全 面 的 技术 。 例 如 点 对 点 
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的 有 线 电话 ,只 要 有 一 对 电话 机 和 一 条 电话 线路 ( 铜 线 ) 就 够 了 ,语音 基带 信号 通过 电话 机 变 
成 相应 的 电信 号 (模拟 信号 ) ,就 能 在 电话 线 上 传送 。 接 收 端 的 电话 机 再 把 电信 号 恢复 成 人 
耳 能 听 得 清 的 语音 。 如 果 是 点 对 点 的 无 线 电话 , 则 在 发 送 端 需要 一 台 发 信 机 ,把 模拟 信号 调 
制 到 射频 上 ,再 用 大 功率 发 射 机 经 天 线 发 射出 去 ,然后 在 无 线 信道 中 传输 。 在 接收 端 则 应 使 
用 收 信 机 把 收 到 的 调制 射频 信号 解 调 恢复 为 发 送 端的 原始 语音 。 若 在 这 样 的 系统 中 增加 加 
密 和 解密 装置 ,就 构成 无 线 保密 通信 系统 。 在 干扰 大 、 信 道 容 量 有 限 的 通信 系统 中 ,需要 采 
用 信 源 编码 和 信道 编码 技术 ,以 提高 传输 消息 的 有 效 性 和 可 靠 性 。 


1.4 信息 论 的 应 用 


信息 论 从 它 诞生 的 那 时 起 就 吸引 了 众多 领域 学 者 的 注意 ,他 们 竞相 应 用 信息 论 的 概念 
和 方法 去 理解 和 解决 本 领域 中 的 问题 。 例 如 ,信息 论 在 生物 学 、 医 学 、 经 济 , 管 理 , 图 书 情报 
等 领域 都 有 不 同 程度 的 应 用 ,这 使 信息 论 成 为 一 门 新 兴 的 横断 科学 。 在 这 里 ,简要 介绍 一 下 
信息 论 在 生物 学 、 医 学 ,管理 科学 、 经 济 学 中 的 应 用 。 

1. 信息 论 在 生物 学 中 的 应 用 

生命 体 本 身 是 一 个 复杂 的 信息 传递 .存储 、 处 理 、 加 工 和 控制 的 系统 。 理 论 上 说 ,信息 论 
应 该 与 生物 学 有 着 密切 关系 。 近 几 十 年 来 ,生物 学 的 发 展 非常 迅速 ,人 们 对 生命 现象 的 研 
究 , 已 经 从 整体 深入 到 细胞 、 亚 细胞 分子 水 平和 量子 水 平 上 ,以 揭示 生命 现象 的 本 质 。 尤 其 
是 在 遗传 信息 方面 的 研究 取得 了 重大 进展 和 成 效 ,从 此 确立 了 信息 论 在 生物 学 研究 方面 的 
重要 作用 和 地 位 。 

特别 是 20 世纪 90 年 代 以 来 ,伴随 着 分 子 结构 测定 技术 的 突破 和 各 种 基因 组 测序 计划 
的 展开 ,生物 学 数据 大 量 出 现 , 如 何 分 析 这 些 数据 ,从 中 获得 生物 结构 、 功 能 的 相关 信息 成 为 
困扰 生物 学 家 的 一 个 难题 。 生 物 信息 学 就 是 在 此 背景 下 发 展 起 来 的 综合 运用 生物 学 、 数 学、 
统计 学 ,物理 学 化学、 信息 科学 以 及 计算 机 科学 等 诸多 学 科 的 理论 和 方法 的 前 沿 和 交叉 
学 科 。 

目前 ,国际 上 公认 的 生物 信息 学 的 研究 内 容 大 致 包括 以 下 儿 个 方面 : 

(1) 生物 信息 的 收集 、 储 存 、 管 理 和 提供 ; 

(2) 基因 组 序列 信息 的 提取 和 分 析 ; 

(3) 功能 基因 组 相关 信息 分 析 ; 

(4) 生物 大 分 子 结构 模拟 和 药物 设计 ; 

(5) 生物 信息 分 析 的 技术 与 方法 研究 

(6) 应 用 与 发 展 研究 。 

2. 信息 论 在 医学 中 的 应 用 

医学 是 研究 人 的 生命 活动 的 本 质 , 研 究 疾病 发 生发 展 的 规律 ,研究 诊断 和 防治 疾病 , 恢 
复 和 保护 人 的 身体 健康 的 科学 。 信 息 论 在 医学 上 的 应 用 ,大 大 促进 了 医学 的 现代 化 。 

从 信息 论 的 观点 看 ,有 机 体 不 断 接收 与 输出 信息 ,以 维持 正常 的 生命 活动 。 在 有 机 体 
中 ,信息 业 标 志 着 系统 组 织 结构 复杂 的 有 序 状态 ,由 于 新 陈 代谢 的 作用 ,有 机 体内 部 有 序 结 
构 不 断 遭 到 破坏 ,这 时 炉 增 加 ,反之 机 体 不 断 从 外 界 接收 信息 一 一 钢 ,在 机 体内 合成 高 度 
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的 有 序 结 构 , 使 炉 降 低 。 因 此 运用 信息 理论 来 分 析 生 命 系统 ,可 以 把 生命 系统 看 作 是 接收 信 
息 和 传递 信息 的 调节 控制 系统 。 

在 正常 的 无 疾病 的 有 机 体系 统 中 ,信息 的 接收 、 传 递 输 出 均 有 正常 的 秩序 ,各 个 环节 有 
着 正常 的 对 应 关系 。 人 体 机 能 的 控制 调节 ,也 是 通过 信息 的 传输 交换 过 程 来 实现 的 。 在 正 
常情 况 下 ,信息 是 畅通 无 阻 的 。 人 在 生病 时 ,信道 发 生 堵塞 ,信息 产生 异常 ,例如 : 有 内 分 泌 
疾病 时 就 会 使 正常 信息 缺乏 , 当 有 细菌 侵入 人 体 时 就 会 受 异常 信息 干扰 ; 当 信息 代码 有 错 
乱 或 信息 通信 发 生 堵 塞 时 ,机 体 就 会 失去 控制 能 力 。 必 须 查 出 是 哪 方 面 的 信息 异常 ,确定 如 
何 排除 干扰 ,恢复 机 体系 统 的 信息 的 正常 流通 及 接收 信息 等 功能 ,保证 信息 通畅 无 阻 。 诊 断 
是 信息 的 收集 ` 分 析 、 综 合作 出 判断 后 对 症 下 药 的 过 程 。 这 一 切 都 是 为 了 得 到 更 多 的 信息 ， 
使 信息 流通 ,把 原来 看 不 见 听 不 到 的 信息 转变 为 人 类 感官 所 能 接收 的 信息 。 

治疗 实际 上 是 提供 药物 、 能 量 及 其 所 携带 的 信息 ,补足 缺乏 信息 ,纠正 错误 的 信息 , 政 通 
信息 的 通道 。 例 如 , 阿 氏 综合 症 就 是 心房 室 发 出 的 节 流 信息 , 传 不 到 心肌 细胞 造成 心律 慢 的 
疾病 ; 传染 病 则 是 异种 蛋白 或 毒素 带 来 了 异常 信息 ,扰乱 了 机 体 的 正常 调节 功能 ; 信息 代 
码 错乱 ,如 DNA 模板 的 错误 ,可 能 产生 不 正常 功能 的 蛋白 质 , 形 成 了 瘤 细 胞 。 信 息 通道 堵 
塞 也 可 产生 疾病 ,例如 ,有 些 病人 能 用 语言 正确 地 表达 自己 的 思想 , 却 不 能 理解 别人 的 话 ; 
而 有 些 病 正 相反 ,能 理解 别人 的 话 , 却 不 能 用 语言 表达 自己 的 意思 。 用 信息 论 的 方法 研究 ， 
发 现 神经 系统 存在 着 信息 流 , 神 经 系统 的 功能 是 分 别 接收 各 种 不 同 的 信息 。 不 同 通道 对 应 
不 同 的 功能 ,假若 与 某 种 功能 相对 应 的 信息 通道 受到 损害 ,那么 信息 流 就 会 阻塞 中 断 ,出 现 
上 述 问 题 , 此 时 朴 通 信息 流 的 通道 ,使 信息 正常 流动 ,就 能 恢复 健康 。 

3. 信息 论 在 管理 科学 中 的 应 用 

在 现代 化 管理 中 ,信息 论 已 成 为 与 系统 论 ,控制 论 等 并 列 的 现代 科学 的 主要 方法 论 之 
一 。 信 息 价值 信息 量 、 信 息 反馈 、 信 息 时 效 性 真实 性 、 信 息 处 理 、 传 递 以 及 信息 论 与 信息 科 
学 是 现代 化 管理 的 运动 命脉 。 实 际 上 ,现代 化 管理 与 信息 已 融 为 一 体 , 并 形成 一 种 特殊 形态 
的 信息 运动 形式 , 即 管理 系统 信息 流 。 

管理 系统 是 一 个 复杂 的 大 系统 ,在 管理 活动 中 贯穿 着 两 种 “ 流 ”, 一 是 物 流 ,二 是 信息 流 。 
物流 是 系统 内 输入 资源 ,经 过 形态 ,性 质变 化 而 输出 产品 的 运动 过 程 。 伴 随 着 物流 而 产生 的 
设计 图 纸 、 工 艺 文 件 、 计 划 等 大 量 资料 , 则 形成 了 信息 流 。 物 流 是 管理 系统 活动 的 原生 运动 。 
信息 流 是 伴随 着 物流 而 产生 的 , 它 引 导 物 流 有 规律 地 运动 ,以 达到 最 优 的 经 济 效果 。 

管理 系统 反映 了 管理 世界 中 各 种 管理 形态 的 特征 和 变化 的 组 合 , 规 定 了 它们 的 数量 与 
质量 的 关系 ,制约 着 主管 者 的 分 析 、 判 断 、 估 测 等 管理 逻辑 思维 ,推导 出 相应 的 决策 ,以 指挥 
和 组 织 管理 活动 按照 预定 的 目标 和 利益 发 展 。 

在 整个 管理 世界 里 ,管理 信息 依据 不 同 的 分 类 方法 ,可 以 分 为 各 种 不 同 的 类 别 ,而 在 这 
繁多 的 种 类 中 ,总 的 可 分 为 两 大 形式 : 管理 自然 信息 和 管理 社会 信息 。 管 理 自然 信息 指 的 
是 管理 系统 以 时 间 效益 形式 呈现 的 自身 形态 结构、 运动 过 程 与 主体 (主要 是 管理 者 ) 同 样 
以 时 间 、 效 益 形式 呈现 的 形态 结构、 运动 过 程 相互 作用 而 在 人 脑 中 留 下 的 与 该 管理 系统 同 
态 的 响应 。 管 理 社会 信息 指 的 是 一 切 经 过 管理 者 利用 语言 .文字 、 符 号 .图像 等 加 工 过 的 管 
理 自然 信息 。 管 理 方面 的 知识 、 情 报 、 指 令 、 告 示 、 法 律 等 全 都 属于 管理 社会 信息 。 

对 于 任何 管理 者 来 说 ,他 随时 都 将 会 同时 面临 着 这 两 种 信息 ,并 深刻 地 影响 着 自己 的 管 
理 活 动 。 就 某 个 管理 者 而 言 , 这 里 的 管理 社会 信息 也 可 以 是 经 由 前 人 或 别人 加 工 过 的 管理 
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自然 信息 的 转换 。 由 此 可 见 ,管理 社会 信息 比 管理 自然 信息 多 一 层 同 态 转换 ,是 经 过 了 两 次 
同 态 转换 的 管理 系统 信息 。 

由 此 可 见 , 信 息 论 在 企业 管理 中 具有 重要 的 应 用 价值 和 应 用 前 景 。 例 如 ,目前 在 大 型 企 
业 中 广泛 实施 的 企业 资源 计划 系统 (ERP) ,不 但 在 管理 信息 的 采集 、 传 输 、 存 储 和 处 理 上 运 
用 了 大 量 现代 信息 技术 手段 ,而且 在 管理 系统 的 流程 设计 上 还 引用 了 信息 论 的 原理 。 

4. 信息 论 在 经 济 学 中 的 应 用 

信息 论 在 经 济 学 领域 中 有 着 广泛 的 渗透 。 一 方面 ,可 以 用 经 济 学 的 观点 来 研究 信息 的 
一 般 问题 ,特别 是 信息 的 价值 问题 ; 另 一 方面 ,又 可 以 用 信息 科学 的 观点 和 方法 来 重新 认识 
和 探讨 经 济 活动 的 规律 。 

目前 ,在 经 济 学 领域 活跃 着 一 门 新 的 学 科 一 一 信息 经 济 学 。1996 年 10 月 8 日 ,美国 哥 
伦比 亚 大 学 名 誉 教授 维 克 里 (Vickrey) 和 英国 剑桥 大 学 教授 米尔 利 斯 (Mimeiees) 任 和 借 其 在 
“不 对 称 信息 条 件 下 的 激励 理论 "研究 领域 的 突出 贡献 ,分 享 了 该 年 度 诺 贝尔 经 济 学 奖 ,使 信 
息 经 济 学 成 为 国际 学 术 界 关注 的 焦点 。 截 至 目前 ,信息 经 济 学 可 概括 为 五 大 领域 。 

(1) 不 完全 信息 经 济 学 。 该 领域 是 纯粹 的 经 济 学 分 支 学 科 , 不 对 称 信息 经 济 学 (或 不 对 
称 信息 博弈 论 ) 可 划 归 该 领域 。 该 领域 的 主要 内 容 包括 信息 搜寻 及 搜寻 成 本 、 信 息 与 资源 配 
置 ,不 完全 信息 条 件 下 的 经 济 行为 分 析 、 非 对 称 信息 和 激励 机 制 的 设计 、 信 息 与 经 济 组 织 理 
论 .新 福利 经 济 学 等 。 

(2) 信息 转换 经 济 学 。 有 关 信 息 转换 的 经 济 学 包括 信息 处 理 经 济 学 、 信 息 系统 经 济 学、 
通信 经 济 学 和 刚 兴 起 的 网 络 经 济 学 等 。 其 中 ,信息 系统 经 济 的 研究 在 国内 外 较为 深入 。 主 
要 体现 在 两 个 方面 : 一 是 信息 系统 的 经 济 分 析 , 包 括 信息 系统 的 投资 决策 分 析 、 信 息 系统 的 
经 济 评估 体系 、 信 息 系统 的 投入 产 出 分 析 等 内 容 ; 二 是 信息 系统 的 管理 与 营销 ,包括 信息 系 
统管 理 、 数 据 处 理 与 信息 网 络 \ 信 息 系 统 营 销 等 内 容 。 总 之 ,信息 转换 经 济 学 主要 是 研究 如 
何 对 信息 流 进行 有 效 的 控制 处理、 管理 和 利用 ,以 便 更 好 地 为 信息 使 用 者 服务 。 

(3) 信息 的 经 济 研究 。 信 息 的 经 济 研究 主要 包括 信息 商品 的 特征 、 生 产 与 需求 ,信息 的 
成 本 与 价值 ,信息 资源 的 分 配 与 管理 等 。 信 息 商 品 是 一 种 特殊 商品 , 它 具 有 保存 性 、 共 享 性 、 
老化 可 能 性 和 知识 创造 性 等 特征 。 信 息 生 产 比 信息 供给 的 范畴 窗 , 信 息 供给 既 要 考虑 信息 
生产 ,又 要 考虑 信息 传播 。 就 信息 的 成 本 与 价值 而 言 ,国内 外 许多 学 者 从 西方 经 济 学 理论 角 
度 深刻 研究 了 信息 的 生产 成 本 、 交 易 成 本 信息 费用 以 及 信息 的 效用 价值 。 

(4) 信息 经 济 的 研究 。 信 息 经 济 的 研究 是 从 知识 的 生产 和 分 配 、 知 识 产 业 和 知识 职业 、 
信息 经 济 的 分 析 和 测定 开始 的 . 它 与 信息 部 门 的 发 展 紧密 相关 。 这 方面 的 两 个 最 主要 的 黄 
基 人 是 马克 卢 普 (Machlup) 和 波 拉 特 (Porat) ,其 中 波 拉 特 的 贡献 最 为 突出 ,他 不 仅 提 出 把 
信息 业 单 列 为 第 四 产业 , 细 分 了 信息 服务 部 门 , 而 且 研 究 出 了 一 套 对 信息 经 济 规模 与 结构 进 
行 测算 和 分 析 的 方法 ,他 因此 被 尊 为 信息 (产业 ) 经 济 的 鼻祖 。 信 息 经 济 研 究 的 主要 内 容 包 
括 信息 产业 、 信 息 市 场 、 信 息 经 济 规模 及 其 确定 、 信 息 基 础 设施 经 济 问题 和 国民 经 济 信息 
化 等 。 

(5) 信息 经 济 的 社会 学 研究 。 这 是 信息 经 济 的 广义 研究 , 即 从 社会 结构 和 经 济 形态 的 
角度 出 发 ,探讨 信息 经 济 对 人 类 社会 结构 ,政治 制度 .经 济 制 度 以 及 人 类 社会 生活 和 精神 状 
态 的 影响 ,以 信息 技术 和 经 济 信息 化 为 基础 研究 社会 生活 和 组 织 形式 。 这 一 研究 方面 的 代 
表 性 理论 就 是 所 谓 的 “信息 社会 "和 “后 工业 社会 ”等 理论 形式 。 
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信息 、 消 息 、 信 号 的 定义 各 是 什么 ? 三 者 关系 是 什么 7 并 举例 说 明 。 
详 述 信息 的 概念 、 特 征 和 性 质 。 

请 简 述 一 个 通信 系统 包括 的 各 主要 功能 模块 及 其 作用 。 

试 述 信息 论 的 研究 内 容 。 


第 2 章 


信 源 与 信息 人 人 


在 信息 论 中 , 信 源 是 发 出 消息 的 源 , 信 源 输 出 以 符号 形式 出 现 的 具体 消息 。 如 果 符 号 是 
确定 的 而 且 预 先是 知道 的 ,那么 该 消息 就 无 信息 可 言 。 只 有 当 符 号 的 出 现 是 随机 的 ,预先 无 
法 确定 时 ,该 符号 的 出 现 才 给 观察 者 提供 了 信息 。 而 这 些 符 号 的 出 现在 统计 上 具有 某 些 规 
律 性 ,因此 可 用 随机 变量 或 随机 矢量 来 表示 信 源 ,运用 概率 论 和 随机 过 程 的 理论 来 研究 信 
息 ,这 是 香农 信息 论 的 基本 点 。 本 童 首先 介绍 各 种 信 源 ,再 研究 不 同 信 源 所 含 信息 量 的 计算 
方法 。 


2.1 信 源 的 分 类 及 数学 模型 


实际 应 用 中 分 析 信 源 所 采用 的 方法 往往 要 由 信 源 的 特性 而 定 。 按 照 信 源 发 出 的 消息 在 
时 间 和 幅度 上 的 分 布 情况 可 将 信 源 分 成 离散 信 源 和 连续 信 源 两 大 类 。 离 散 信 源 是 指 发 出 在 
时 间 和 幅度 上 都 是 离散 分 布 的 离散 消息 的 信 源 ,如 文字 、 数 字 、 数 据 等 符号 都 是 离散 消息 。 
连续 信 源 是 指 发 出 在 时 间 和 幅度 上 是 连续 分 布 的 连续 消息 (模拟 消息 ) 的 信 源 ,如 语音 、 
像 ,图形 等 都 是 连续 消息 。 

另外 按照 信 源 发 出 的 符号 之 间 的 关系 还 可 细 分 为 下 列 几 种 类 型 : 


发 出 单个 符号 的 无 记忆 信 源 
发 出 符号 序列 的 无 记忆 信 源 
发 出 符号 序列 的 有 记忆 信 源 
发 出 符号 序列 的 马尔 可 夫 信 源 


元 ie 纪 信 源 | 
信 源 
有 记忆 信 源 | 


2.1.1 无 记忆 信 源 


例如 ,在 一 个 布袋 内 放 100 个 球 ,其 中 80 个 球 是 红色 的 ,20 个 球 是 白色 的 , 若 随机 摸 取 
一 个 球 ,看 它 的 颜色 ,结果 要 么 是 红色 ,要 么 是 白色 。 若 将 这 样 的 实验 看 成 一 种 信 源 , 则 该 信 
源 输出 的 消息 数量 是 有 限 的 ,这 种 消息 数量 有 限 的 信 源 就 是 离散 信 源 。 它 每 次 只 出 现 一 种 
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消息 ,出 现 哪 一 种 消息 是 随机 的 ,这 样 的 信 源 又 叫做 发 出 单个 符号 的 信 源 。 若 每 次 看 过 的 球 
又 放 回 布袋 中 再 做 下 一 次 实验 ,那么 大 量 统计 证 明 , 出 现 红色 球 的 概率 是 0. 8, 出 现 白色 球 的 
概率 是 0.2。 因 此 可 用 一 个 离散 型 随机 变量 XX 来 描述 这 个 信 源 输出 的 消息 。 这 个 随机 变量 X 
的 样本 空间 就 是 符号 集 A 一 {a 一 "红色 ”,a 一 “白色 ”}。 而 X 的 概率 分 布 为 P(X 一 al) 一 
pla1) 二 0.8,P(X 二 as) 二 p(as) 二 0.2, 这 个 概率 分 布 就 是 各 消息 出 现 的 先 验 概率 。 它 不 随 
实验 次 数 变 化 ,也 不 与 先前 的 实验 结果 相关 ,因而 该 信 源 是 无 记忆 的 ,可 将 每 次 实验 结果 独 
立 处 理 。 上 述 这 种 每 次 只 发 出 一 个 符号 代表 一 个 消息 的 信 源 叫做 发 出 单个 符号 的 无 记忆 
信 源 。 

在 实际 应 用 中 ,存在 着 很 多 这 样 的 信 源 ,例如 扔 般 子 、 十 进 制 数 字 码 、 字 母 等。 这 些 信 源 
输出 的 都 是 单个 符号 的 消息 ,出 现 的 消息 数 是 有 限 的 , 且 只 可 能 是 符号 集中 的 一 种 , 即 符合 
完备 性 。 若 各 符号 出 现 的 概率 已 知 , 则 该 信 源 就 确定 了 ; 反之 , 若 信 源 已 知 , 则 各 符号 出 现 
的 概率 就 确定 了 。 所 以 信 源 出 现 的 符号 及 其 概率 分 布 就 决定 了 信 源 ,因此 可 用 下 列 概率 空 


间 来 表示 这 种 信 源 : 
Xx ai az 4 an 
| 上 |- | | (2-1-1) 
到 plal) plazs) … pla,) 


其 中 符号 集 A={a1,as，…,a,} ,XEA。 显 然 有 p(ai) 之 0, 2) plai) = 1。 
iel 


有 的 信 源 输出 的 消息 也 是 单个 符号 ,但 消息 的 数量 是 无 限 的 ,如 符号 集 A 的 取 值 是 介 
于 a 和 2 之 间 的 连续 值 , 或 者 取 值 为 实数 集 R 等 。 例 如 ,在 一 个 袋 中 有 很 多 干电池 ,随机 摸 
出 一 节 王 电池 ,用 电压 表 测 量 其 电压 值 作为 输出 符号 ,该 信 源 每 次 输出 一 个 符号 ,但 符号 的 
取 值 是 在 [0,1. 5] 之 间 的 所 有 实数 ,每 次 测量 值 是 随机 的 ,可 用 连续 型 随机 变量 X 来 描述 ， 
这 样 的 信 源 就 是 发 出 单个 符号 的 连续 无 记忆 信 源 。 一 般 用 符号 分 布 的 概率 密度 函数 px(z) 
来 表示 ,连续 信 源 的 概率 空间 如 下 : 


6 干 税 ;区 -” 。 R 
| 上 | | 或 | | (2=-1=-2} 
涩 px (zx) px (x) 


» 
显然 应 满足 px (zx) 三 0， | px(r)dr=1 或 | pxcz)dz =1。 


在 有 些 情况 下 ,也 可 将 符号 的 连续 幅度 进行 量化 ,使 其 取 值 转换 成 有 限 的 或 可 数 的 离散 
值 ,也 就 是 把 连续 信 源 转换 成 离散 信 源 来 处 理 。 

然而 ,很 多 实际 信 源 输出 的 消息 往往 是 由 一 系列 符号 组 成 的 ,这 种 每 次 发 出 一 组 含 2 个 
以 上 符号 的 符号 序列 来 代表 一 个 消息 的 信 源 称 为 发 出 符号 序列 的 信 源 。 需 要 用 随机 序列 
(或 随机 矢量 )X= (Xi ,Xs ,… ,XX,,… ,XL) 来 描述 信 源 输出 的 消息 ,用 联合 概率 分 布 来 表示 
信 源 特性 。 最 简单 的 符号 序列 信 源 是 工 为 2 的 情况 ,此 时 信 源 X= (Xi ,Xs) ,其 信 源 的 概率 
空间 为 


XxX ai*al aia2 Ws Qn yQn 
[zj=| | (2-1-3) 
到 plarsa) plaisazs) … 记 (a an) 
显然 有 p(ai,a;) 宇 0， ya 一 1。 
上 述 布袋 摸 球 的 实验 , 若 每 次 取出 两 个 球 ,由 两 个 球 的 颜色 组 成 的 消息 就 是 符号 序列 。 


第 2 章 “” 信 源 与 信息 粹 
EE lt 


例如 , 先 取出 一 个 球 , 记 下 颜色 后 放 回 布袋 ,再 取 另 一 个 球 。 由 于 两 次 取 球 时 布袋 中 的 红 球 、 
白 球 个 数 没有 变化 ,第 二 个 球 取 什么 颜色 与 第 一 个 球 的 颜色 无 关 , 是 独立 的 ,因而 该 信 源 是 
无 记忆 的 , 称 为 发 出 符号 序列 的 无 记忆 信 源 。 这 种 信 源 发 出 的 符号 序列 中 的 各 个 符号 之 间 
没有 统计 关联 性 ,各 个 符号 的 出 现 概率 是 它 自身 的 先 验 概率 , 即 
pCX1, Xs», Ks, RL) = pOX PX) pKR) p(XL) 

同时 由 于 布袋 中 红 球 、 白 球 的 分 布 情况 不 随时 间 变 化 ,也 就 是 该 信 源 发 出 的 序列 的 统计 
性 质 与 时 间 的 推移 无 关 , 是 平稳 的 随机 序列 。 其 中 信 源 输出 序列 的 各 维 概率 分 布 都 不 随时 
间 推 移 而 发 生变 化 , 则 称 为 强 平稳 信 源 ; 若 输 出 序列 均值 与 起 始 时 刻 无 关 、 协 方差 函数 也 与 
起 始 时 刻 无 关 而 仅 与 时 间 间 隔 有 关 , 称 为 弱 平稳 信 源 。 

平稳 信 源 分 析 起 来 比较 方便 ,实际 应 用 中 很 多 信 源 都 满足 这 种 情况 。 于 是 各 变量 X, 
的 一 维 概率 分 布 都 相同 , 即 p(X1) 二 p(Xs) 二 … 二 p(X1) 二 … 二 p(X1), 且 取 值 于 同一 概率 
空间 式 (2-1-1), 则 


EE 


pis es Ri) = || Ry = LotR 


有 时 将 这 种 由 信 源 X 输出 的 工 长 随机 序列 X 所 描述 的 信 源 称 为 离散 无 记忆 信 源 X 的 
L 次 扩展 信 源 。 若 X,E A 共有 种 取 值 可 能 性 , 则 随机 序列 有 n* 种 可 能 性 。 工 次 扩展 信 


源 也 满足 完备 性 > pCX =zx)=1。 

在 离散 无 记忆 信 源 中 , 信 源 输出 的 每 个 符号 是 统计 独立 的 , 且 具 有 相同 的 概率 空间 , 则 
该 信 源 是 离散 平稳 无 记忆 信 源 ,也 称 为 独立 同 分 布 (independently identical distribution， 
ii d. ) 信 源 。 


2.1.2 有 记忆 信 源 


一 般 情况 下 , 信 源 在 不 同时 刻 发 出 的 符号 之 间 是 相互 依赖 的 。 例 如 上 述 布袋 取 球 实验 
中 , 先 取 出 一 个 球 , 记 下 颜色 后 不 放 回 布袋 ,接着 取 另 一 个 , 则 在 取 第 二 个 球 时 布袋 中 的 红 
球 . 白 球 概率 已 与 取 第 一 个 球 时 不 同 , 此 时 的 概率 分 布 与 第 一 个 球 的 颜色 有 关 。 若 第 一 个 球 
为 红色 , 取 第 二 个 球 时 的 概率 p(a1) 二 79/99,p(as) 二 20/99; 若 第 一 个 球 为 白色 , 则 取 第 二 
个 球 时 的 概率 为 p(a1) 二 80/99 和 pl(az) 二 19/99。 即 组 成 消息 的 两 个 球 颜色 之 间 有 关联 
性 ,是 有 记忆 的 信 源 ,这 种 信 源 就 称 为 发 出 符号 序列 的 有 记忆 信 源 。 例 如 由 英文 字母 组 成 单 
词 ,字母 间 是 有 关联 性 的 ,不 是 任何 字母 的 组 合 都 能 成 为 有 意义 的 单词 ,同样 不 是 任何 单词 
的 排列 都 能 形成 有 意义 的 文章 等 。 这 些 都 是 有 记忆 信 源 。 此 时 的 联合 概率 表示 就 比较 复 
杂 ,需要 引入 条 件 概率 来 反映 信 源 发 出 符号 序列 内 各 个 符号 之 间 的 记忆 特征 , 户 (zi,zs,zs， 
yr)=p(rr [zis rr Ts TL PT Tar Ts TL = pr | zis res ras TL) 
bz -ilzyzeyrzi…z-2)zb(zyzvz yz-2) 一 …。 表 述 的 复杂 度 将 随 着 序列 长 度 的 
增加 而 增加 。 然 而 实际 上 信 源 发 出 的 符号 往往 只 与 前 若干 个 符号 有 较 强 的 依赖 关系 , 随 着 
长 度 的 增加 ,依赖 关系 越 来 越 弱 , 因 此 可 以 根据 信 源 的 特性 和 处 理 时 的 需要 限制 记忆 的 长 
度 ,使 分 析 和 处 理 简 化 。 

在 实际 应 用 中 ,还 有 一 些 信 源 输出 的 消息 不 仅 在 幅度 上 是 连续 的 ,在 时 间或 频率 上 也 是 
连续 的 , 即 所 谓 的 模拟 信号 ,例如 语音 信号 .电视 图 像 信号 等 都 是 时 间 连 续 、 幅 度 连续 的 模拟 
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信号 , 某 一 时 刻 的 取 值 是 随机 的 ,通常 用 随机 过 程 {z(z)} 来 描述 。 为 了 与 时 间 离 散 的 连续 信 
源 相 区 别 , 有 时 也 称 为 随机 波形 信 源 ,这 种 信 源 处 理 起 来 就 更 复杂 了 。 就 统计 特性 而 言 , 随 
机 过 程 可 分 为 平稳 随机 过 程 和 非 平稳 随机 过 程 两 大 类 ,最 常见 的 平稳 随机 过 程 为 遍历 过 程 。 
一 般 认为 ,通信 系统 中 的 信号 都 是 平稳 遍历 的 随机 过 程 。 虽然 受 衰落 现象 干扰 的 无 线 电 信 
号 是 属于 非 平稳 随机 过 程 ,但 在 正常 通信 条 件 下 ,都 可 近似 地 当 作 平 稳 随机 过 程 来 处 理 。 
此 一 般 用 平稳 遍历 的 随机 过 程 来 描述 随机 波形 信 源 的 输出 。 

众所周知 ,对 于 确 知 的 模拟 信号 可 进行 采样 ,量化 ,使 其 变换 成 时 间 和 幅度 都 是 离散 的 
离散 信和 号。 根据 时 域 采样 定理 ,如 果 某 一 时 间 连 续 函 数 /(1) 的 频带 受 限 ,最 高 为 f, 则 函数 
了 () 不 失真 采样 的 条 件 是 采样 频率 /. 三 2f 或 采样 间隔 T<5- 即 了 (四 完全 可 以 由 这 些 
采样 点 的 值 来 恢复 。 如 果 函 数 /() 在 时 间 上 受 限 ,04<1s, 则 采样 的 点 数 为 a+( 示 )= 


2fmts。 可 见 , 频 率 受 限 于 f,、 时 间 受 限于 is 的 任何 时 间 连 续 函数 ,完全 可 以 由 2fnis 个 采 
样 值 来 描述 。 这 样 ,就 把 时 间 连 续 的 函数 变换 成 了 时 间 离 散 、 幅 度 连续 的 样 值 序列 。 同 样 频 
率 连 续 的 函数 也 可 以 通过 频 域 采样 离散 化 。 根 据 频 域 采样 定理 ,时 间 受 限于 is 的 频 域 连续 
函数 ,在 0 一 2x 的 数字 频 域 上 不 失真 采样 工 点 的 条 件 是 时 域 延 拓 周 期 LT 大 于 等 于 原 时 域 
信号 的 最 大 持续 时 间 ts, 即 LT 宇 4s ,如果 函数 在 频率 上 受 限 ,0 三 /过 fs, 则 采样 点 数 
L 宇 ts/T 二 tpf, 宇 2ts fa， 也 就 是 函数 完全 可 以 由 2fwts 个 采样 点 的 值 来 恢复 。 这 样 ,就 把 频 
率 连 续 的 函数 变换 成 了 频率 离散 幅度 连续 的 样 值 序列 。 

需要 注意 的 是 ,从 理论 上 说 任何 一 个 时 间 严 格 受 限于 vs 的 函数 ,其 频谱 是 无 限 的 ; 反 
之 ,任何 一 个 频带 严格 受 限于 /， 的 函数 ,其 时 间 上 是 无 限 的 。 只 是 在 实际 应 用 时 ,可 以 认 
为 函数 在 频带 f、 时 间 ts 以 外 的 取 值 很 小 ,不 至 于 引起 函数 的 严重 失真 。 

所 以 对 信 源 输出 的 波形 信号 ,只 要 是 时 间或 频率 上 有 限 的 随机 过 程 ,都 可 以 通过 采样 将 
之 变 成 时 间或 频率 上 离散 的 连续 符号 序列 。 如 果 原 来 的 随机 过 程 是 平稳 的 ,那么 采样 后 的 
随机 序列 也 是 平稳 的 。 

一 般 情况 下 ,采样 得 到 的 2fwts 个 随机 变量 之 间 是 线性 相关 的 ,也 就 是 说 这 工 二 2 fts 
维 连续 型 随机 序列 是 有 记忆 的 。 因 此 随机 波形 信 源 也 是 一 种 有 记忆 信 源 。 


2.1.3 马尔 可 夫 信 源 


当 信 源 的 记忆 长 度 为 m 十 1 时 ,该 时 刻 发 出 的 符号 与 前 m 个 符号 有 关联 性 ,而 与 更 前 面 
的 符号 无 关 , 则 联合 概率 可 表述 为 p(x,zzsT3s…* ,TL) 二 pri|zisrorrar,XL1)p(n, 
TayTar TL) = pr zr mss _1) 力 (ZiyzzyZs TL) = pz | Tn TL) 
pzr-ilzr-n-ly…yz-z)pb(zyzyz… zz) 一 …。 这 种 有 记忆 信 源 称 为 m 阶 马尔 可 
夫 信 源 ,可 以 用 马尔 可 夫 (Markov) 链 来 描述 信 源 。 最 简单 的 马尔 可 夫 信 源 是 mm 二 1, 则 
思 (ziyzyz……z) 一 六 zlz-i)pCz -ilz -sy)…bp(zlz)p(z)。 若 上 述 条件 概 率 与 时 
间 起 点 无 关 , 则 信 源 输出 的 符号 序列 可 看 成 齐 次 马尔 可 夫 链 ,这 样 的 信 源 称 为 齐 次 马尔 可 夫 
信 源 。 

由 于 高 阶 马 尔 可 夫 过 程 需要 引入 矢量 进行 分 析 运 算 , 人 处理 较 复杂 。 可 将 矢量 转化 为 状 
态 变量 ,通过 分 析 系 统 状态 在 输入 符号 作用 下 的 转移 情况 ,使 高 阶 马 尔 可 夫 过 程 转化 成 一 阶 
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马尔 可 夫 过 程 来 处 理 。 对 于 m 阶 马尔 可 夫 信 源 , 将 该 时 刻 以 前 出 现 的 m 个 符号 组 成 的 序列 
定义 为 状态 s;， 
5i 一 (za ;Ti oT, ) 6 €A= (aas ,a,) (2-1-4) 

si 共有 Q=z 种 可 能 取 值 , 即 状态 集 S=={51 ,so，… ,so}, 则 上 述 条 件 概 率 p (zj | 工 -mn，…， 
2i-1) 中 的 条 件 zj-，,。,… ,zj;-1 就 可 以 用 状态 s; 来 代表 ,表示 信 源 在 某 一 时 刻 出 现 符 号 zj 的 
概率 与 信 源 此 时 所 处 的 状态 s; 有 关 , 用 符号 条 件 概率 表示 为 p(zj1si) ,i 二 1,2,…,Q; j 二 1， 
2 

当 信 源 符 号 zx; 出 现 后 , 信 源 所 处 的 状态 将 发 生变 化 ,并 转 入 一 个 新 的 状态 。 这 种 状态 
的 转移 可 用 状态 转移 概率 表示 为 p(s;1si) ,i,j 二 1,2,…,Q。 

更 一 般 地 ,在 时 刻 m 系统 处 于 状态 s;( 即 S。 取 值 ;;) 的 条 件 下 ,经 一 m 步 后 转移 到 状 
态 的 概率 用 状态 转移 概率 bw (m,n) 表示 : 

ps (mn) = P{S,=s|S,=s)}= Pi{s|s)} s,s ES 

也 可 以 把 pj (m,n) 理 解 为 已 知 在 时 刻 m 系统 处 于 状态 i 的 条 件 下 ,在 时 刻 n 系统 处 于 状态 
7 的 条 件 概率 , 故 状 态 转移 概率 实际 上 是 一 个 条 件 概率 。 转 移 概率 具有 下 列 性 质 : 

(1) ps m,n)0,i,jE€ES; 

(2) Dps mn) = 1,i€ S。 


JES 

通常 特别 关心 n 一 m 二 1 的 情况 , 即 psy msm 十 1)。 把 py Gm ,2 十 1) 记 为 psy (m) ,m 宇 0， 

并 称 为 基本 转移 概率 ,也 可 称 为 一 步 转移 概率 。 于 是 有 
Ee 王 才 和 下 和 

对 于 齐 次 马尔 可 夫 链 ,其 转移 概率 具有 推移 不 变性 , 即 只 与 状态 有 关 , 与 时 刻 m 无 关 ， 

故 转移 概率 可 表示 为 
py(m) = P{Snn =j|S, =i)=py, isj€ES 

显然 py 具有 下 列 性 质 : 

CV. De SE 

(2 Dp = WE 


jiES 
类 似 地 ,可 以 定义 A 步 转移 概率 为 
pm) 三 三 (Sa =7| Ss =2= 2 jES 
需要 指出 的 是 ,平稳 信 源 的 概率 分 布 特性 具有 时 间 推 移 不 变性 ,而 齐 次 马尔 可 夫 链 只 要 
求 转移 概率 具有 推移 不 变性 ,因此 一 般 情况 下 平稳 包含 齐 次 ,但 齐 次 不 包含 平稳 。 
由 于 系统 在 任 一 时 刻 可 处 于 状态 空间 S={si,s ,…',se} 中 的 任意 一 个 状态 ,因此 状态 
转移 时 ,转移 概率 是 一 个 矩阵 


P= {pm),i,; € S} 
由 一 步 转移 概率 ps 可 以 写 出 其 转移 矩阵 为 
P= {ps,i,j € S} 


pu pz ** pa 


P=|*" Te fe (i 


ba pe … poa 
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该 矩阵 了 中 第 i 行 元 素 对 应 于 从 某 一 个 状态 s; 转移 到 所 有 状态 s;(s; € S) 的 转移 概率 , 显 
然 矩阵 中 的 每 一 个 元 素 都 是 非 负 的 ,并 且 每 行 之 和 均 为 1; 第 j 列 元 素 对 应 于 从 所 有 状态 
si(si:€E 5) 转 移 到 同一 个 状态 s; 的 转移 概率 , 列 元 素 之 和 不 一 定 为 1。 

和 步 转移 概率 加 史 与 !C(0<A) 步 和 (一 上) 步 转移 概率 之 间 有 所 谓 的 切 普 曼 - 柯 尔 莫 戈 洛 
夫 方 程 。 即 

py 3 
上 式 右 侧 是 对 第 1 步 的 所 有 可 能 取 值 求 和 ,因而 也 就 是 & 步 转移 概率 。 特 别 地 , 当 /二 1 
时 ,有 
pH = pp = 27 py 

车 用 矩阵 表示 , 则 


Pp® = Pp = PPP4®D 一 =P 
从 这 一 递 推 关 系 式 可 知 , 对 于 齐 次 马尔 可 夫 链 来 说 ,一 步 转移 概率 完全 决定 了 & 步 转移 概 
率 。 为 了 确定 无 条 件 概率 P(Se 王 5 ) ,还 需 引入 初始 概率 , 令 
po = P(So = s;) 


这 样 


Pre = 


DP(S, = s)P(S =5|S5, = 5) 


= 2 pap 
需要 研究 一 下 limp2 的 问题 ,倘若 这 极限 存在 , 且 等 于 一 个 与 起 始 状 态 i 无 关 的 被 称 为 
稳 态 分 布 的 Wj 二 PCS 二 5;), 则 不 论 起 始 状 态 是 什么 ,此 马尔 可 夫 链 可 以 最 后 达到 稳定 , 即 
所 有 变量 X 的 概率 分 布 均 不 变 。 在 这 种 情况 下 ,就 可 以 用 P 这 一 矩阵 来 充分 描述 稳定 的 
马尔 可 夫 链 ,起 始 状 态 只 使 前 面 有 限 个 变量 的 分 布 改 变 ,如 同 电路 中 的 暂 态 一 样 。 
接着 来 求 出 稳 态 分 布 的 概率 。 若 从 其 定义 来 求 


limpp =W, (2-1-6) 
有 时 是 很 困难 的 ,事实 上 只 要 知道 它 有 极限 , 稳 态 分 布 W; 可 用 下 列 方程 组 来 求 得 : 
2 Wips = W; (2-1-7) 


式 中 W; 和 Wi 均 为 稳 态 分 布 概率 。 由 于 》)ps = 1, 所 以 行列 式 | ps 一 6 | 二 0, 可 见 
式 (2-1-7) 必 有 非 零 解 .再 用 >》)W; = 1 就 可 解 得 各 稳 态 分 布 概率 W;。 若 [ps 一 6; ] 的 秩 是 
(一 DD, 则 解 是 唯一 的 , 式 (2-1-7) 有 唯一 解 是 limp 久 存在 的 必要 条 件 ,并 不 是 充分 条 件 。 
为 了 使 马尔 可 夫 链 最 后 达到 稳定 ,成 为 遍历 的 马尔 可 夫 链 ,还 必须 有 不 可 约 性 和 非 周期 性 。 
所 谓 不 可 约 性 ,就 是 对 任意 一 对 和 j, 都 存在 至 少 一 个 ,使 2 二 0, 这 就 是 说 从 8 
开始 ,总 有 可 能 到 达 s,; 反之 车 对 所 有 上 ,pw 二 0, 就 意味 着 一 旦 出 现 s; 以 后 不 可 能 到 达 
5 也 就 是 不 能 各 态 遍 历 ,或 者 状态 中 应 把 s 取消 ,这 样 就 成 为 可 约 的 了 。 例 如 图 2-1 中 
所 表示 的 马尔 可 夫 链 ,其 中 5 ,ss ,ss 是 三 种 状态 .箭头 是 指 从 一 个 状态 转移 到 另 一 个 状态 ， 
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旁边 的 数字 代表 转移 概率 。 这 就 是 香农 提出 的 马尔 可 夫 状 态 图 ,也 叫 香农 线 图 。 容 易 看 出 
由 状态 ss 转移 到 s, 的 转移 概率 pp 二 0, 因 为 一 进入 状态 ss 就 一 直 继续 下 去 ,而 不 会 再 转移 
到 其 他 状态 。z 呈 一 0 也 是 明显 的 , 因 s, 和 s 之 间 没 有 连接 箭头 ,因此 这 种 链 就 不 是 不 可 
约 的 。 

所 谓 非 周期 性 ,就 是 所 有 z 包 二 0 的 nn 中 没有 比 1 大 的 公 因 子 。 图 2-2 中 的 转移 矩阵 就 
是 周期 为 2 的 矩阵 ,因为 从 5 出 发 再 回 到 5 所 需 的 步 数 必 为 2,4,6…, 这 里 的 p 名 矩阵 为 


和 Lt 
og 
1o 40 
Pb 一 严 一 2 
电 1 
4 
1 | 
多 
1/2 
Q 
wll 
过 
图 2-1 非 不 可 约 马尔 可 夫 链 图 2-2 周期 性 马尔 可 夫 链 
可 以 验证 , 当 为 奇数 时 
fo 站 Tl 
9 2 0 2 
赤 去。 
办 二 二 i | 
°° 3 


当 上 为 偶数 时 
[二 直人 多 中 
we 
和 
P=P= PP 
0 二 :10 
2 9 
1 1 


5 = 


若 起 始 状态 为 m% , 则 经 奇数 步 后 ,Se 一 s 的 概率 为 
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0， j=1 
四 
所 下 j=2 
Bo j=3 
! Po 
2 ， 了 一 4 
而 经 偶数 步 后 
= 
2， 了 一 1 
0， JJ 一 2 
pi = 第 a 
De 
0， j=4 


这 样 就 达 不 到 稳定 状态 ,虽然 方程 组 (2-1-7) 是 有 解 的 ,其 解 为 W, 一 二 ,j 一 1,2,3,4。 


例 2-1 如 图 2-3(a) 所 示 是 一 个 相对 码 编码 器 。 输 入 的 码 X,,r 王 1,2,… 是 相互 独立 
的 , 取 值 0 或 1, 且 已 知 P(X=0)==p,P(X=1)==1 一 p= 二 gq, 输 出 的 码 是 Y, ,显然 有 
YR 三宝 而 5 
其 中 由 表示 模 2 加 ,那么 Y, 就 是 一 个 马尔 可 夫 链 , 因 Y, 确定 后 ,Y,+1 的 概率 分 布 只 与 Y, 有 
关 , 与 Y,-1、Y,-, 等 无 关 , 且 知 Y, 序列 的 条 件 概率 为 
pw = P(Ye = 0| Y=0)= P(X=0) 
pu 一 P(7 =1|Y=0)= P(X=D 
Dw = 二 0 二 
bi= P= = DD= P(X=0)==8 


aa 


2 ?| 与 ; 无 关 , 因 而 是 齐 次 的 。 它 的 状态 转移 图 如 图 2-3(b) 所 示 。 
gq 


“Ce 


(a) 相对 码 编码 器 (b) 状态 转移 图 
图 2-3 例 2-1 


即 转移 矩阵 为 | 


由 图 2-3 容易 验证 该 马尔 可 夫 链 具有 不 可 约 性 和 非 周 期 性 ,由 方程 组 (2-1-7) 可 求 得 稳 
态 概率 分 布 W, 一 去 ,W, 二 十 。 所 以 这 一 马尔 可 夫 链 是 遍历 的 。 


遍历 性 的 直观 意义 是 ,不 论 质点 从 哪 一 个 状态 s; 出 发 , 当 转 移 步 数 足够 大 时 ,转移 到 
状态 5 的 概率 p 内 都 近似 等 于 某 个 常数 W;。 反 过 来 说 ,如 果 转 移 步 数 充 分 大 ,就 可 以 用 
常数 Wi 作为 步 转移 概率 p 急 的 近似 值 。 这 意味 着 马尔 可 夫 信 源 在 初始 时 刻 可 以 处 于 任 
意 状 态 ,而 信 源 状态 之 间 可 以 转移 。 经 过 足够 长 时 间 之 后 , 信 源 处 于 什么 状态 已 与 初始 状态 
无 关 。 这 时 每 种 状态 出 现 的 概率 已 达到 一 种 稳定 分 布 , 就 像 电路 中 经 过 暂 态 后 进入 稳 态 一 样 。 
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例 2-2 有 一 个 二 阶 马尔 可 夫 链 XE (0,1) ,其 条 件 概率 如 表 2-1 所 示 , 状 态 变量 = 
(00,01,10,11) , 则 状态 转移 矩阵 如 表 2-2 所 示 ,相应 的 状态 转移 图 如 图 2-4 所 示 。 如 在 状 
态 01 时 ,出 现 符号 0, 则 将 0 加 到 状态 01 的 后 面 ,再 将 第 一 位 符号 0 挤 出 ,转移 到 状态 10， 
概率 为 1/3。 其 他 状态 的 变化 过 程 类 似 。 可 以 写 出 符号 条 件 概率 矩阵 为 

表 2-1 符号 条 件 概率 p(aj|s;) 


符 ” 号 
起 始 状态 
0 1 
00 172 1/2 
01 1/3 2/3 
10 1/4 3/4 
11 1/5 4/5 
表 2-2 状态 转移 概率 p(s |s;) 
终止 状态 
起 始 状态 
s1(00) s2(01) s3(10) 5(11) 
00 1/2 1/2 0 0 
01 0 0 1/3 2/3 
10 1/4 3/4 0 0 
0 0 1/5 4/5 
Lz -a 
1/3 2/3 
(qj 15)] = 
[pl |)]= | a4 
1/5 4/5 
状态 转移 概率 矩阵 为 5 
ty2 I/ 0 
0 .0 13 2/3 
[p(s; | 51)]= 


1/4 3/4 0 0 
0 0 1/5 4/5 (6 
显然 ,状态 转移 概率 矩阵 与 符号 条 件 概率 矩阵 是 不 同 的 ,不 
能 混淆 。 令 各 状态 的 稳 态 分 布 概率 为 Wi ,W ,Ws,W,. 利 


图 2-4 二 阶 马尔 可 夫 信 源 状态 


加 转移 图 
用 式 (2-1-7) 可 得 方程 组 
| 1 1 3 
页 一 本 Wi 二 4 一 十 二 了 
W; I W, = ZW, + WwW, 
E 5 3 5 
Wi 二 Ws 二 Ws 十 Ws 二 1 
解 得 稳 态 分 布 的 概率 为 
3 6 6 4 
而 二 WW= 3 Wo Wi=7 
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值得 注意 的 是 ,上 面 解 得 的 是 稳定 后 的 状态 概率 分 布 bp(si) ,而 稳定 后 的 符号 概率 分 


布 为 
加 :ee 9 
plai) = Sp | sD ps) se 3 
同 理 可 求 得 
本 和 26 
plas) 一 pos 1sD)p(s) 二 却 X 痢 + 村 X 息 十 守 X 太 二 


在 实际 应 用 中 , 某 些 信 源 (如 语音 ) 的 输出 是 非 平稳 随机 过 程 ,但 在 一 个 短 时 段 (例如 
10 一 30ms, 也 称 为 “ 帧 ”) 内 是 平稳 的 ,而 相 邻 的 帧 与 帧 之 间 的 状态 可 能 会 发 生变 化 ,因而 可 
以 看 成 局 部 平稳 ( 即 具 有 短 时 平稳 性 ) ,而 全 局 是 非 平 稳 的 随机 过 程 。 它 在 经 过 抽样 和 量化 
后 成 为 时 间 和 取 值 均 为 离散 的 准 平稳 随机 序列 ,这 样 的 信 源 可 以 用 隐 马 尔 可 夫 模 型 (hidden 
markov model, HMM) 来 加 以 描述 。 具 体内 容 参 见 文献 [10]。 隐 马尔 可 夫 模 型 应 用 领域 非 
常 广泛 ,如 语音 识别 、 人 脸 检 测 、 机 器 人 足球 、 图 像 去 噪 、 图 像 识 别 和 DNA/ 蛋 白质 序 列 分 
析 等 。 

综 上 所 述 , 我 们 分 析 了 不 同 统 计 特 性 的 信 源 ,用 随机 变量 、 随 机 序列 和 随机 过 程 来 描述 
信 源 输出 的 消息 ,都 能 很 好 地 反映 出 信 源 的 随机 性 ,并 且 各 种 信 源 之 间 在 一 定 条 件 下 可 以 转 
换 , 使 分 析 处 理 简化 。 下 一 节 将 针对 不 同 统计 特性 的 信 源 介绍 信息 的 度量 。 


2.2 ”离散 信 源 炉 和 互信 息 


首先 讨论 离散 信 源 , 信 源 在 某 一 时 刻 发 出 哪个 符号 是 随机 的 ,但 各 符号 出 现 的 概率 是 确 
定 的 。 信 源 确定 了 ,概率 分 布 就 确定 了 。 概 率 的 大 小 决定 了 信息 量 的 大 小 。 那 么 信息 量 如 
何 度量 呢 ? 


2.2.1 自信 息 量 


信 浙 XX, 其 概率 空间 为 | =|= | 4 a | -这 是 信 源 固有 的 ,通常 事 
P plal) plas) pla,) 
先 就 已 知 。 但 是 信 源 在 某 时 刻 到 底 会 发 出 什么 符号 ,接收 者 是 不 能 确定 的 ,只 有 当 信 源 发 出 
的 符号 通过 信道 的 传输 到 达 接收 端 后 , 收 信者 才能 得 到 信息 ,消除 不 确定 性 。 符 号 出 现 的 概 
率 不 同 , 它 的 不 确定 性 就 不 同 。 例 如 某 符号 出 现 的 概率 为 1, 即 每 次 一 定 出 现 , 则 该 信 源 就 
是 确定 性 信 源 ,没有 不 确定 性 。 概 率 越 大 ,不 确定 性 就 越 小 ; 反之 符号 出 现 的 概率 越 小 ,不 
确定 性 就 越 大 ,一 旦 出 现 ,接收 者 获得 的 信息 量 就 越 大 。 由 此 可 见 , 符 号 出 现 的 概率 与 信息 
量 是 单调 递减 关系 。 

定义 具有 概率 为 p(z,) 的 符号 zx 的 自信 息 量 为 

T(zi) =— logp (x;) (2-2-1) 

自信 息 量 的 单位 与 所 用 的 对 数 底 有 关 。 在 信息 论 中 常用 的 对 数 底 是 2, 信 息 量 的 单位 
为 比特 Cbit); 若 取 自 然 对 数 , 则 信息 量 的 单位 为 奈 特 (nat); 车 以 10 为 对 数 底 , 则 信息 量 的 
单位 为 入 特 (det) 。 这 三 个 信息 量 单位 之 间 的 转换 关系 如 下 ， 


第 2 章 ” 信 源 与 信息 粹 ”21 
pe 


lnat=logeX1. 433bit 
ldet=log; 10~23. 322bit 
车 发 出 二 进 制 码 元 0 和 1 信 源 , 当 符号 概率 为 p(0) 二 1/4,p(1) 二 3/4 时 , 则 这 两 个 符 
号 所 包含 的 自信 息 量 分 别 为 


i == 6 一 = logs4 = 2bit 


I1(1) = 一 logs 二 = 0. 415bit 


因为 0 出现 的 概率 小 ,因而 一 旦 出 现 ,给 予 观察 者 的 信息 量 就 很 大 。 

若是 一 个 以 等 概率 出 现 的 二 进 制 码 元 0 和 1 信 源 , 则 自信 息 量 为 KC0)=T(1) 一 log:2 一 
1bit。 也 就 是 说 ,不 管 出 现 0 还 是 1 ,给 予 观察 者 的 信息 量 均 为 1bit, 这 样 的 信 源 就 可 以 用 
1bit 的 信息 来 表示 。 若 由 该 信 源 输出 mm 位 的 二 进 制 数 ,因为 该 数 的 每 一 位 可 从 0、1 两 个 
数字 中 任 取 一 个 ,因此 有 2” 个 等 概率 的 可 能 组 合 。 所 以 每 个 符号 的 自信 息 量 均 相 等 ,T= 


去 一 wbit, 就 是 需要 mbit 的 信息 来 表明 和 区 分 这 样 的 二 进 制 数 。 

上 述 自信 息 量 指 的 是 该 符号 出 现 后 ,提供 给 收 信者 的 信息 量 。 这 里 要 引入 另 一 个 概 
念 一 一 信 源 符号 不 确定 度 。 具 有 某 种 概率 的 信 源 符号 在 发 出 之 前 ,存在 不 确定 度 ,不 确定 度 
表征 了 该 符号 的 特性 。 例 如 一 个 出 现 概率 很 小 的 符号 , 收 信者 很 难 猜测 在 某 个 时 刻 它 能 否 
发 生 , 所 以 它 包 含 的 不 确定 度 就 很 大 。 反 之 ,一 个 出 现 概率 接近 于 1 的 符号 ,发 生 的 可 能 性 
很 大 ,很 容易 猜测 它 会 发 生 , 所 以 它 包 含 的 不 确定 度 就 很 小 。 符 号 的 不 确定 度 在 数量 上 等 于 
它 的 自信 息 量 ,两 者 的 单位 相同 ,但 含义 却 不 相同 。 不 确定 度 是 信 源 符号 固有 的 ,不 管 符 号 
是 否 发 出 ,而 自信 息 量 是 信 源 符号 发 出 后 给 予 收 信者 的 。 为 了 消除 该 符号 的 不 确定 度 ,接收 
者 所 需 获 得 的 信息 量 。 

显然 ,自信 息 量具 有 下 列 特性 : 

(1) plzi)=1,1(z;)=0; 

(2) p(xi)=0,1(zx;)=00; 

(3) 非 负 性 : 由 于 一 个 符号 出 现 的 概率 总 是 在 闭 区 间 [0,1] 内 ,所 以 自信 息 量 为 非 
负 值 ; 

(4) 单调 递减 性 : 若 p(x) 过 p(xz2), 则 T(r)>T(zxs); 

(5) 可 加 性 : 车 有 两 个 符号 ri ,yw 同时 出 现 , 可 用 联合 概率 p(xzi;,yj) 来 表示 ,这 时 的 自 
信息 量 为 T(zi,yj) 二 一 logp (zi,yj), 当 zz; 和 yy; 相互 独立 时 ,有 p(xisyi) 二 p(xzi)p(y;), 那 
么 就 有 T(x;,y;) 二 T(x;) 十 I(y;)。 

若 两 个 符号 出 现 不 是 独立 的 ,而 是 有 相互 联系 的 ,这 时 可 用 条 件 概率 p(x;|y;) 来 表示 ， 
即 在 符号 y; 出 现 的 条 件 下 ,符号 z; 发 生 的 条 件 概率 , 则 它 的 条 件 自信 息 量 定义 为 条 件 概率 
对 数 的 负 值 , 即 


一 log。 


TCzi | y;) =— logp (zi | y;) (2-2-2) 

上 式 表示 在 给 定 y; 条 件 下 ,符号 zx; 出 现时 收 信者 得 到 的 信息 量 。 因 为 p(xi,yi) 二 p(xzi| 

yD)p(lyj), 则 有 了 TCzi,yj) 二 TCzi|yj) 十 TCy;);, 即 符号 zx;,y; 同时 出 现 的 信息 量 等 于 出 现 
的 信息 量 加 上 y; 出 现 后 再 出 现 z; 的 信息 量 。 

例 2-3 英文 字母 中 “e” 的 出 现 概 率 为 0. 105,“c” 的 出 现 概率 为 0.023,“o” 的 出 现 概率 
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为 0.001。 分 别 计算 它们 的 自信 息 量 。 
根据 式 (2-2-1) 得 
“e” 的 自信 息 量 I(e) 二 一 logs0. 105 一 3. 25bit 
“c” 的 自信 息 量 I(c)== 一 logs0. 023 一 5. 44bit 
“o” 的 自信 息 量 ITCo) 王 一 log:0.001 一 9.97bit 


2.2.2 ”离散 信 源 粹 


自信 息 量 T(x;) 只 是 表征 信 源 中 各 个 符号 z; 的 不 确定 度 ,而 一 个 信 源 总 是 包含 着 多 个 
符号 消息 ,各 个 符号 消息 又 按 概率 空间 的 先 验 概率 分 布 ,因而 各 个 符号 的 自信 息 量 就 不 同 。 
所 以 自信 息 量 TCz;) 是 与 概率 分 布 有 关 的 一 个 随机 变量 ,不 能 作为 信 源 总 体 的 信息 量度 。 
对 这 样 的 随机 变量 只 能 采取 求 平均 的 方法 。 

例 2-4 继续 上 面 的 例子 ,一 个 布袋 内 放 100 个 球 ,其 中 80 个 球 是 红色 的 ,20 个 球 是 白 
色 的 ,车 随机 摸 取 一 个 球 ,猜测 其 颜色 。 该 信 源 的 概率 空间 为 

1 Tz 
[x ed | 
其 中 x 表示 摸 出 的 球 为 红 球 ,zs 表示 摸 出 的 球 是 白 球 。 当 被 告知 摸 出 的 是 红 球 , 则 获得 的 
信息 量 是 
I(x1) =— logp(z1) 一 一 log:0. 8bit 
当 被 告知 摸 出 的 是 白 球 ,那么 获得 的 信息 量 是 
T(x») =— logp(zx;) 一 一 log:0. 2bit 

如 果 每 次 摸 出 一 个 球 后 又 放 回 袋 中 ,再 进行 下 一 次 摸 取 。 那 么 如 此 摸 取 ? 次 , 红 球 出 现 
的 次 数 为 np(zi) 次 , 白 球 出 现 的 次 数 为 np(zxs) 次 。 随 机 摸 取 次 后 总 共 所 获得 的 信息 
量 为 

np (xr) Tz) +np(r) Tr,) 
而 平均 随机 摸 取 一 次 所 获得 的 信息 量 则 为 


二 [op (an yd 0 {| 


=— [p(xzi)logp(z1) + p(x )logp(z2)] 


2 
一 一 > plxi)logp(zi) 
i=1 


上 述 求 出 的 就 称 为 平均 自信 息 量 , 即 平均 每 个 符号 所 能 提供 的 信息 量 。 它 只 与 信 源 各 
符号 出 现 的 概率 有 关 , 可 以 用 来 表征 信 源 输出 信息 的 总 体 特 征 。 它 是 信 源 中 各 个 符号 自信 
息 量 的 数学 期 望 。 即 

E(I(X)) = Dplzr)Iz) =— > 六 (zi)logpCzi) Vo 


单位 为 bit/ 符 号 。 

类 似 地 ,引入 信 源 X 的 平均 不 确定 度 的 概念 , 它 是 在 总 体 平均 意义 上 的 信 源 不 确定 度 。 
某 一 信 源 ,不 管 它 是 否 输出 符号 ,只 要 这 些 符 号 具有 某 种 概率 分 布 ,就 决定 了 信 源 的 平均 不 
确定 度 。 它 在 数值 上 与 平均 自信 息 量 相等 ,但 含义 不 同 。 平均 自 信息 量 是 消除 信 源 不 确定 
度 时 所 需要 的 信息 的 量度 , 即 收 到 一 个 信 源 符号 ,全 部 解除 了 这 个 符号 的 不 确定 度 。 或 者 说 
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获得 这 样 大 的 信息 量 后 , 信 源 不 确定 度 就 被 消除 了 。 由 于 平均 不 确定 度 的 定义 式 (2-2-3) 
与 统计 物理 学 中 热 炉 的 表示 形式 相似 , 且 热 炉 是 用 来 度量 一 个 物理 系统 的 杂乱 性 (无 序 性 )， 
与 这 里 的 不 确定 度 概念 相似 ,所 以 又 把 信 源 的 平均 不 确定 度 称 为 信 源 X 的 粹 。 信 源 蚁 是 在 
平均 意义 上 来 表征 信 源 的 总 体 特性 , 它 是 信 源 X 的 函数 ,一 般 写成 果 (X),X 是 指 随 机 变量 
的 整体 (包括 概率 空间 )。 信 源 给 定 , 概 率 空间 就 给 定 , 信 源 炉 就 是 一 个 确定 值 ,不 同 的 信 源 
因 概 率 空 间 不 同 焙 值 就 不 同 。 从 式 (2-2-3) 可 见 , 信 源 X 中 各 符号 z; 的 概率 p (xi) 是 非 负 
值 , 且 0 过 p(zi) 达 1,logp (xi) 三 0, 所 以 信 源 炉 昌 (X) 是 非 负 量 。 当 某 一 符号 z; 的 概率 p; 
为 零 时 ,pilogp; 在 炉 公 式 中 无 意义 ,为 此 规定 这 时 的 pilogp; 也 为 零 。 当 信 源 X 中 只 含 一 
个 符号 zx 时 ,必定 有 p(x) 二 1, 此 时 信 源 烂 (X) 为 零 ,是 确定 性 信 源 。 

例 2-5 设 信 源 符号 集 X= {xi,zs,xs), 每 个 符号 发 生 的 概率 分 别 为 p (xi) 二 1/2， 
plzs) 二 1/4,p(zxs) 二 1/4, 则 信 源 炉 为 

H(X) = 3 logz2 十 1 log24 + 1 logs4 = 1. 5bit/ 符号 

即 该 信 源 中 平均 每 符号 所 包含 的 信息 量 为 1. 5bit, 也 即 为 了 表明 和 区 分 信 源 中 的 各 个 符号 
需 用 1. 5bit。 

例 2-6 电视 屏 上 约 有 500X600 王 3X105 个 格 点 , 按 每 点 有 10 个 不 同 的 灰 度 等 级 考 
虑 , 则 共 能 组 成 10;*" 个 不 同 的 画面 。 按 等 概 计算 ,平均 每 个 画面 可 提供 的 信息 量 为 


H(X)=— Dplri)logp(z;) =— log, 1072200 
1 一 1 


二 3 X10 X 3.32 之 105bit/ 画面 
另外 ,有 一 篇 千 字 文章 ,假定 每 字 可 从 万 字 表 中 任 选 , 则 共有 不 同 的 千 字 文 
N = 10000to 三 104 篇 
仍 按 等 概 计算 ,平均 每 篇 千 字 文 可 提供 的 信息 量 为 
H(X) = logsN 一 4X10:X3.32 一 1.3X10'bit/ 千 字 文 

可 见 ,“ 一 个 电视 画面 "平均 提供 的 信息 量 要 丰富 得 多 , 远 远 超过 “一 篇 千 字 文 " 提 供 的 信 
息 量 。 当 然 , 这 是 理论 计算 ,事实 上 任意 从 万 字 表 中 取出 的 千 字 并 不 能 组 成 有 意义 的 文章 ， 
词 句子、 段落、 文章 的 组 成 是 有 一 定 规律 的 ,所 以 有 意义 的 文章 篇 数 N 将 大 大 小 于 上 述 计 
算 值 , 千 字 文 提供 的 信息 量 也 比 计算 值 小 得 多 ,因而 要 表示 一 篇 千 字 文 并 不 需要 1. 3 X 
10'bit。 电 视 画 面 也 一 样 ,实际 将 远 小 于 10 bit。 

例 2-7 二 元 信 源 是 离散 信 源 的 一 个 特例 。 该 信 源 X 输出 符号 只 有 两 个 , 设 为 0 和 1。 
输出 符号 发 生 的 概率 分 别 为 p 和 g,p 十 gq 二 1。 即 信 源 的 概率 空间 为 


Hb 
PI] lp ga 
根据 式 (2-2-4)? 可 得 二 元 信 源 焙 为 

H(X) plogp — glogg plogp— (1—p)log(1—p) = H(p) 
信 源 信息 炉 HH(X) 是 概率 p 的 函数 ,通常 用 H(p) 表 示 。p 取 值 于 [0,1j] 区 间 ,H(p) 函 数 曲 
线 如 图 2-5 所 示 。 从 图 2-5 中 看 出 ,如 果 二 元 信 源 的 输出 符号 是 确定 的 , 即 p= 二 1 或 g==1， 
则 该 信 源 不 提供 任何 信息 。 反 之 , 当 二 元 信 源 符号 0 和 1 以 等 概率 发 生 时 , 信 源 焙 达到 极 大 
值 ,等 于 1bit 信息 量 。 
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在 给 定 y 条 件 下 ,z 的 条 件 自 信息 量 为 zlw)， 
集合 的 条 件 炉 及 (X| y;) 为 
H(X |y) = Dplzi | y)Izi | y,) 
进一步 在 给 定 Y( 即 各 个 y) 条 件 下 ,X 集合 的 条 件 
焙 互 (X17 定义 为 
HCX|Y) = Op IHG | y,) 


= Dp yp | yd) Tzi ly) 


=2plziy) Tz | y) (2-2-4) 
即 条 件 炉 是 在 联合 符号 集合 (X.Y) 上 的 条 件 自信 息 
量 的 联合 概率 加 权 统 计 平均 值 。 条 件 灶 H(X1Y) 表 示 已 知 Y 后 ,X 的 不 确定 度 。 
相应 地 ,在 给 定 X( 即 各 个 zx;) 条 件 下 ,Y 集合 的 条 件 焙 及 (Y1X) 定 义 为 
HOY | X) = plrioy) Ty; | x) =— 2pxiny)logply; | x1) (2-2-5) 
联合 粹 是 联合 符号 集合 (X,Y) 上 的 每 个 元 素 对 (x;,y;) 的 自信 息 量 的 概率 加 权 统 计 平 
均值 ,定义 为 
H(X,Y) = Zp xisy) Tx,y,) =— Dp lrisy)logplzisy;) (2-2-6) 
联合 炉 也 (X,Y) 表 示 X 和 YY 同时 发 生 的 不 确定 度 。 联 合 烂 (X,Y) 与 炉 及 (X) 及 条 件 
H(Y|X) 之 间 存在 下 列 关系 : 
H(X,Y) = H(X)+H(Y | X) = H(Y)+H(X |Y) 
例 2-8 ”有 一 个 二 进 信 源 X 发 出 符号 集 (0,1) ,经 过 离散 无 记忆 信道 传输 ,信道 输出 用 
Y 表示 。 由 于 信道 中 存在 噪声 ,接收 端 除 收 到 0 和 1 符号 外 ,还 有 不 确定 的 符号 ,用 “?” 来 表 


2-5 ” 灶 函 数 H(p) 


y ” 示 , 如 图 2-6 所 示 。 已 知 X 的 先 验 概率 为 (z 一 0) 一 2/3， 
0 4 0 ”p(x=1) 二 1/3, 符 号 转移 概率 为 p(y=01z=0)= 3/4， 
1/4 p(y=?|zx=0)=1/4,p(y=1|z=1)=1/2,p(y=? |zx=1) 

a ? 1/2, 其 余 为 零 。 
， - | 可 直接 求 出 
12 H(X) = 有 H(2/3,1/3) = 0. 92bit/ 符号 


图 2-6 离散 无 记忆 信道 。 联合 概率 
p(x=0,y=0)= p(y=0|zxz=0)p(z = 0)= 1/2 


同 理 可 求 出 
p(x=0,y=?)=1/6, p(x=0,y=1)=0, p(x=1,y=0)=0, 
p(x=1,y=?)=1/6, p(x=1,y=1)=1/6 

则 条 件 焙 


H(Y | X) = 一 Dp (zi,y;) logs p(y; | zi) = 0. 88bit/ 符号 
i 


可 得 到 联合 粮 
H(X,Y) = H(X) 十 HG7 | X) = 1. 8bit/ 符号 
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另 一 方面 ,p(y 一 0) = Dplxisy =0)=1/2,p(y=1)=1/6,p(y=?) = 1/3, 可 
求 出 
H(Y) = H(1/2,1/3,1/6) = 1. 47bit/ 符号 


条 件 概率 p(x 二 01y 二 0) 人 1, 这 在 图 2-6 上 也 可 看 出 , 当 输出 了 为 0 


时 ,输入 和 X 一 定 是 0, 而 不 可 能 是 1, 所 以 p(x==11y==0)==0,p(x==01y==1)=0， 
p(x 一 1|y 二 1)= 二 1; 同 理 求 出 p(x==01y==?)==1/2,p(z 二 1|y==?)= 二 1/2。 这 种 条 件 概 率 称 
为 符号 工 的 后 验 概率 。 则 

HX 1Y) =— 2D)p (zi,y;) logsp(zi | y;) 一 0.33bit/ 符号 


可 得 到 相同 的 联合 灶 结 果 : 
H(X,Y) = H(Y) 十 H(X |Y) = 1. 8bit/ 符号 

例 2-9 ”二进制 通信 系统 用 符号 0 和 1 表示 ,由 于 存在 失真 ,传输 时 会 产生 误 码 ,用 符号 
表示 下 列 事件 : uo 表示 一 个 0 发 出 ; wu 表示 一 个 1 发 出 ; w 表示 一 个 0 收 到 ; mw 表示 一 个 
1 收 到 。 且 给 定 下 列 概率 : pCu)==1/2,pCvoluo)==3/4,pCvolu)==1/2。 

(1) 已 知 发 出 一 个 0, 求 收 到 符号 后 得 到 的 信息 量 ; 

(2) 已 知 发 出 的 符号 , 求 收 到 符号 后 得 到 的 信息 量 ; 

(3) 已 知 发 出 的 和 收 到 的 符号 , 求 能 得 到 的 信息 量 ; 

(4) 已 知 收 到 的 符号 , 求 被 告知 发 出 的 符号 得 到 的 信息 量 。 


解 : (1) 可 求 出 pu lw) 二 1 一 pCvolu) 一 十 ,所 以 


H(V | w) =— plvo | uo)logplvo | wo) — pu | uo)logp lw | uo) 


H(i.3 
= 可 (十 汪 ] 
二 0. 82bit/ 符号 
(2) 联合 概率 pluo st) =pl liu) pluo) = 
同 理 可 得 
Ee, 关 而 疝 交 关于 
‘09U1 8 » 1900 4 9 1 1 4 
所 以 


1 | 
HIV1U) = 一 > > posyuw)logpCu | ui) 


i=0 j=0 


EF:} :| 1 Ll 1 
B18 B14 2 义 才 log 本 


一 0.91bit/ 符号 
和 入 


(3) 解法 1: HCU,V) = 一 》) > pluisv)logp(ui,vj) = 1.91bit/ 符号 


全 全 
解法 2: 因为 pu ) 一 pa ) 一 玛 , 所 以 及 (U) 二 1bit/ 符 号 
H(U,V) = HOO)+H(V 1D) = 1 十 0.91 = 1.91bit/ 符号 
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1 1 
(4) 可 求 出 p(w) = > pluisv) = ,p(n) = Dplusm) = 


i=0 i=0 8 
和 
解法 1: HW =H )=0. 96bit/ 符 号 
H(U |V) H(U,V)— HV 1.91 一 0. 96 0. 95bit/ 符号 
解法 2: 利用 贝 叶 斯 定理 得 


和 se 
plu pl lw) 2°° 4 Ei 
pluo | vo) plvo) 5 6 
8 
同 理 可 得 
plu | w)= 三 ， pluo | mm) = 十 ， plu lw) = 三 
1 1 
HU IV = >) pv)logplu: | v) = 0.95bit/ 符号 
rE 
2.2.3 互信 息 


例 2-8 中 昌 (X) 大 于 昌 (X| 六 ,说 明 当 已 知 Y 后 ,X 的 不 确定 度 减 小 了 。 即 对 于 接收 

者 ,在 未 收 到 任何 消息 时 ,对 信 源 X 的 不 确定 度 有 H(X) 是 0. 92bit/ 符 号 。 而 当 收 到 消息 

Y 后 ,不 确定 度 降低 到 了 HH(XIY) 二 0.33bit/ 符 号 。 不 确定 度 的 减少 量 (0.92 一 0. 33)bit/ 符 

二 0. 59bit/ 符 号 就 是 接收 者 通过 信道 传输 收 到 的 信 源 X 的 信息 量 , 称 为 X 和 Y 的 互信 息 
I(X;, 即 IC(X;Y) 二 H(X) 一 H(XIY)。 根 据 概率 之 间 的 关系 式 有 


jy = Sp tars) log 和 上 22) 
i 


2 力 (ziyyi) 
2 psy )log DOD pC 


ply; | xi) 
= Zp 3)log pty = I(Y;X) 


显然 这 是 平均 意义 上 的 互信 息 量 ， 对 于 单个 符号 之 间 的 互信 息 定 义 为 符号 后 验 概率 与 
先 验 概 率 比 值 的 对 数 , 即 
plxi | y;) 
人 (2-2-7) 
由 于 无 法 确定 p(x;|yj) 和 p(xzi) 的 大 小 关系 ,所 以 T(x;;y;) 不 一 定 大 于 或 等 于 零 。 如 例 2-8 
中 I(zx=0;y==0)==logs1. 5 之 0,1(zx==0,y 二 ?) 二 logs0.75 过 0。 但 是 平均 意义 上 的 互信 息 
I(X;Y) 一 定 大 于 或 等 于 零 ( 理 论证 明 见 参考 文献 [6], 本 书 将 给 出 物理 意义 说 明 )。 互 信息 
量 ICzisyw) 在 X 集 合 上 的 统计 平均 值 为 

159) = Dp | 1s) = Dp 1 ylog 2 各 
平均 互信 息 I(X; ;了 为 上 述 ICX;y) 在 Y 集 合 上 的 概率 加 权 统 计 平 均值 , 即 


ICX;Y) = Dp OICX;y) = Dp ly) pr; | slog PEL» 
i oj i 


I(zxi; y;) = log 


要 plxi | yj;) i 
Zp eisy log 0 (2-2-8) 
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在 通信 系统 中 , 若 发 送 端的 符号 是 X, 而 接收 端的 符号 是 Y, 则 I(X;Y) 就 是 在 接收 端 收 
到 立 后 所 能 获得 的 关于 X 的 信息 量 。 若 干扰 很 大 .Y 基本 上 与 X 无 关 , 或 说 X 与 了 相互 独 
立 , 那 时 就 收 不 到 任何 关于 X 的 信息 , 即 ICX;Y) 王 0; 反之 , 若 没 有 干扰 ,了 是 X 的 确 知 一 
一 对 应 函数 , 那 就 能 充分 地 收 到 X 的 信息 , 即 TCX;Y) 王 五 (X)。 所 以 互信 息 I(X;Y) 的 范 
围 是 

0 过 TICX;Y) < HX) 

例 2-10 设 信 源 发 出 8 种 消息 符号 , 即 六 = {x ,x ,ZX3 ,XT4 ,Xs ,Xe ,TI ,Ts), 各 符号 分 别 
用 3 位 二 进 制 码 元 表示 ,并 输出 事件 。 通 过 对 输出 事件 的 观察 来 推测 信 源 的 输出 。 假 设 信 
源 发 出 的 消息 为 zt, 用 二 进 制 码 011 表示 。 作 为 观察 者 ,已 知 信 源 各 消息 符号 等 概率 出 现 ， 
但 不 知 某 时 刻 发 出 什么 符号 。 当 观察 到 输出 的 二 进 制 码 后 ,可 计算 出 各 消息 符号 的 后 验 概 
率 , 如 表 2-3 所 列 。 


表 2-3 等 概率 二 进 制 码 字 的 后 验 概率 


后 验 概 率 
信 源 输出 消息 二 进 制 码 字 先 验 概率 
收 到 0 后 收 到 01 后 收 到 011 后 
zl 000 1/8 1/4 0 0 
2 001 1/8 1/4 0 0 
Zs 010 1/8 1/4 1/2 0 
zx, 011 1/8 1/4 1/2 . 
Zs 100 1/8 0 0 0 
ze 101 1/8 0 0 0 
2 110 1/8 0 0 0 
2 111 1/8 0 0 0 


从 表 中 看 出 ,每 收 到 一 个 二 进 制 码 后 ,各 消息 符号 出 现 的 后 验 概率 都 作 相应 变化 ,这 将 
有 助 于 观察 者 对 信 源 发 出 符号 进行 猜测 。 在 接收 011 这 三 个 码 元 的 过 程 中 ,符号 zx 出 现 的 
后 验 概率 逐步 增加 ,最 终 达 到 1, 而 其 他 符号 出 现 的 后 验 概率 都 先后 减 小 到 0, 从 而 完全 确定 
信 源 输出 的 符号 。 在 接收 过 程 中 收 到 符号 与 x 之 间 的 互信 息 , 即 收 到 符号 后 得 到 的 有 关 
xz4 的 信息 量 可 根据 式 (2-2-7) 计 算得 


es 1L/4 pi 号 
T(zi;0) = log; 178 1bit/ 符号 
jij0L): = og pe 

1 


T(z;3011) = log; 178 二 3bit/ 符号 


当 信 源 输 出 符号 的 先 验 概率 不 等 时 ,后 验 概率 的 变化 情况 有 所 不 同 , 如 表 2-4 所 列 。 

从 表 2-4 中 可 知 , 总 的 趋势 仍然 是 某 个 符号 出 现 的 后 验 概率 逐步 增加 到 1, 而 其 他 符号 
的 后 验 概率 最 终 变 为 0, 从 而 完全 确定 输入 端的 符号 。 但 上 述 两 种 情况 下 的 变化 细节 是 不 
同 的 。 当 符号 等 概率 出 现时 ,zs 出 现 的 概率 从 1/8 变 为 1; 而 当 符 号 不 等 概率 出 现时 ,zx 出 
现 的 概率 从 1/4 变 为 1。 同样 可 计算 出 在 接收 过 程 中 收 到 符号 与 x 之 间 的 互信 息 , 即 收 到 
符号 后 得 到 的 有 关 zs4 的 信息 量 为 


二 2bit/ 符号 
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表 2-4 概率 不 等 二 进 制 码 字 的 后 验 概率 


后 验 概率 
信 源 输出 消息 二 进 码 字 |” 先 验 概率 
收 到 0 后 | 收 到 01 后 | 收 到 011 后 
1 000 1/8 1/6 0 0 
Xs 001 1/4 1/3 0 0 
Xs 010 1/8 1/6 1/3 0 
4 011 1/4 1 2/3 1 
Zs 100 1/16 0 0 0 
Ze 101 1/16 0 0 0 
Xr 110 1/16 0 0 0 
Xs 111 1/16 0 0 0 
I(z450) = logs 13 二 0.415bit/ 符号 
1/4 
T(xs;301) = log; i 二 1.415bit/ 符号 


ICz43011) = log 让 二 2bit/ 符号 


因此 ,对 观察 者 来 说 ,同样 观察 事件 011 ,但 在 符号 等 概率 出 现 的 情况 下 “收获 "要 大 些 ， 
即 得 到 的 “信息 ”要 多 些 。 
由 互信 息 的 定义 有 : 
I(X;Y) = H(X)— H(X |Y) (2-2-9) 
I(Y;X) = H(Y —H(Y | X) (2-2-10) 
由 上 面 两 式 可 说 明 平均 互信 息 量 的 物理 意义 。 式 (2-2-9) 中 ICX;Y) 是 万 CX) 和 五 (XIY) 
之 差 。 因 为 H(X) 是 符号 六 的 炉 或 不 确定 度 , 而 HH(XIY) 是 当 Y 已 知 时 X 的 不 确定 度 , 那 
么 可 见 “Y 已 知 ” 这 件 事 使 X 的 不 确定 度 减少 了 I(X;Y), 这 意味 着 “Y 已 知 后 ”所 获得 的 关 
于 X 的 信息 量 是 ICX;Y)。 也 可 将 平均 互信 息 量 I(X;Y) 看 成 有 扰 离散 信道 上 传输 的 平均 
信息 量 。 信 宿 收 到 的 平均 信息 量 等 于 信 宿 对 信 源 符号 不 确定 度 的 平均 减少 量 。 具 体 地 说 ， 
式 (2-2-9) 表 明 在 有 扰 离 散 信道 上 ,各 个 接收 符号 > 所 提供 的 有 关 信 源 发 出 的 各 个 符号 x 
的 平均 信息 量 T(X;Y) 等 于 唯一 地 确定 信 源 符号 x 所 需要 的 平均 信息 量 有 H(X), 减 去 收 到 
符号 Y 后 要 确定 X 所 需要 的 平均 信息 量 HH(XIY)。 条 件 人 HC(X1Y) 可 看 作 由 于 信道 上 存 
在 干扰 和 噪声 而 损失 掉 的 平均 信息 量 。 由 于 损失 掉 这 一 部 分 信息 量 , 故 再 要 唯一 地 确定 信 
源 发 出 的 符号 X 就 显得 信息 量 不 足 。 条 件 箭 囊 (X1Y) 又 可 以 看 作 由 于 信道 上 的 干扰 和 噪 
ECXID 疑 义 度 声 使 接收 端 获得 Y 后 还 剩余 的 对 信 源 符号 X 的 平均 不 确定 
度 , 故 又 称 为 疑义 度 。 式 (2-2-10) 表 明 平 均 互 信息 量 可 看 作 
在 有 扰 离散 信道 上 传递 消息 时 ,唯一 地 确定 接收 符号 y 所 需 
A AD |H0) 要 的 平均 信息 量 吾 (Y) , 减 去 当 信 源 发 出 符号 为 已 知 时 需要 
确定 接收 符号 y 所 需 的 平均 信息 量 互 (YIX)。 因 此 ,条 件 业 
HH(Y|X) 可 看 作 唯一 地 确定 信道 噪声 所 需要 的 平均 信息 量 ， 
故 又 称 噪声 精 或 散布 度 。 它 们 之 间 的 关系 可 以 用 图 2-7 来 
图 2-7 收 ,发 两 端的 炉 关 系 ”形象 地 表达 。 


HY 噪声 炉 
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如 果 久 与 Y 是 相互 独立 的 ,那么 Y 已 知 时 X 的 条 件 概 率 等 于 X 的 无 条 件 概率 ,由 于 焙 
就 是 这 概率 的 对 数 的 数学 期 望 ,X 的 条 件 炉 就 等 于 久 的 无 条 件 炉 ,此 时 I(X;Y) 二 0。 这 可 
理解 为 既然 X 与 Y 相互 独 立 ,就 无 法 从 Y 中 去 提取 关于 的 信息 。 这 可 看 成 信道 上 噪声 
相当 大 ,以 致 及 (XIY) 二 HC(X)。 在 这 种 情况 下 ,能 传输 的 平均 信息 量 为 零 。 这 说 明 信 宿 
收 到 符号 y 后 不 能 提供 有 关 信 源 发 出 符号 z 的 任何 信息 量 。 对 于 这 种 信道 , 信 源 发 出 的 信 
息 量 在 信道 上 全 部 损失 掉 了 , 故 称 为 全 损 离散 信道 

如 果 Y 是 由 久 确定 的 一 一 对 应 函数 ,那么 Y 已 知 时 X 的 条 件 概率 非 *1” 即 “0”, 因 为 当 
X 与 了 有 一 一 对 应 关系 时 , 当 X 和 了 满足 该 确定 函数 时 ,条 件 概率 必 为 1; 而 不 满足 确定 函 
数 时 ,条 件 概率 必 为 零 。 也 就 是 说 ,IT(X;Y) 二 有 H(X)。 可 见 此 时 已 知 Y 就 完全 解除 了 关于 
X 的 不 确定 度 ,所 获得 的 信息 量 就 是 X 的 不 确定 度 或 粹 ,这 可 看 成 无 扰 离 散 信 道 。 由 于 没 
有 噪声 ,所 以 信道 不 损失 信息 量 ,疑义 度 有 H(X|IY) 为 零 , 噪 声 炉 也 为 零 。 于 是 有 I(X;Y) 二 
H(X)=H(Y).。 

在 一 般 情况 下 ,X 和 YY 既 非 相 互 独立 ,也 不 是 一 一 对 应 ,那么 从 Y 获得 义 的 信息 必 在 
零 与 H(X) 之 间 , 即 常 小 于 0 

根据 式 (2-2-8) 互 信息 的 定 


I(X;Y) = Dp oa so- Dp )ply; | zi)log 


ply; | zx) 
ply;) 


和 p(y;) 一 pe | zi) 可 看 出 , 互信 息 I(X; Y) 只 是 输入 信 源 X 的 概率 分 布 p (xi) 


和 信道 转移 概率 p(yj |zi) 的 函数 , 即 TILpCzi) ,pylz)]。 可 以 证 明 ( 证 明 从 略 , 见 参考 文 
献 [6]): 当 p(zi) 一 定时 ,I 是 关于 p(yj|zi) 的 UU 型 凸 函 数 , 存 在 极 小 值 ; 而 当 pCyj|zi) 一 
定时 ,IT 是 关于 p(xzi) 的 站 型 凸 函 数 ,存在 极 大 值 。 这 两 个 结论 是 互 为 对 偶 的 问题 ,非常 重 
要 ,将 在 以 后 章节 中 应 用 。 前 者 是 研究 信息 率 失真 函数 的 理论 基础 ,后 者 是 研究 信道 容量 的 
理论 基础 。 

在 有 三 个 变量 的 情况 下 ,符号 zx; 与 符号 对 (yw ,zi) 之 间 的 互信 息 量 定义 为 


LC = og Sem | yay (2-2-11) 


plzi) 
条 件 互 信息 量 是 在 给 定 x 条 件 下 ,zi 与 y; 之 间 的 互信 息 量 ,定义 为 


eA log 2 (2-2-12) 
引用 式 (2-2-12), 式 (2-2-11) 可 写成 
T(zigyj ya) = T(xiszi) tt ICzisy; | zx) 

上 述 表 明 : 一 个 联合 事件 (yw ,zi) 出 现 后 所 提供 的 有 关 rz; 的 信息 量 T(z; ;yj ,z4) 等 于 zh 
事件 出 现 后 提供 的 有 关 z; 的 信息 量 ICz;;z), 加 上 在 给 定 x; 条 件 下 再 出 现 w 事件 后 所 提 
供 的 有 关 z; 的 信息 量 TCzisy ze)。 

在 给 定 Z 条 件 的 情况 下 ,X 与 Y 的 互信 息 量 TCX;Y|1Z) 定 义 为 


plxi | yj ,<4) 


I(X;Y | 2) = Zp ‘log PC es 
则 有 关系 式 


XSY ZS (XID — HEIZYY= .HYD = HY |Z2,X) 
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I(X;Y12) 表 示 当 已 知 Z 条 件 下 再 从 立 获得 的 关于 X 的 信息 量 。 
三 维 联合 集 (X,Y,Z) 上 的 平均 互信 息 量 有 


工 X5Y，Z) = I(X;Y) + I(X;Z|Y) (2-2-13) 
I(Y,Z;X) = I(Y;X)+I(Z;X |Y) (2-2-14) 
I(X;Y,2) = I(X;Z,Y) = I(X;2Z)+I(X;Y | 2) (2-2-15) 


2.2.4 ”数据 处 理 中 信息 的 变化 


用 信息 论 的 观点 研究 数据 处 理 过 程 中 信息 的 变化 。 图 2-8 中 X 是 输入 消息 变量 ,了 是 
第 一 级 处 理 器 的 输出 消息 变量 ,2 为 第 二 级 处 理 器 的 输出 消息 变量 。 如 果 对 于 任意 XY、 
2 ,存在 bp(z,zly) 王 pzly)p(zly), 即 在 Y 出 现 条 件 下 X 与 Z 统计 独立 ,此 时 XY 一 Z 
构成 马尔 可 夫 链 ,上 且 有 H(XIY,2Z)=H(XIY),I(X;ZIY)=0。 

由 式 (2-2-13) 和 式 (2-2-15) 得 


TICX;Z) = TICX;Y) 十 ICX;Z 1Y) 一 ICXIY |2) (2-2-16) 
再 由 互信 息 的 非 负 性 ITCX;Y12Z) 三 0, 所 以 从 式 (2-2-16) 得 出 
TICX;Z) <I(X;Y) (2-2-17) 


同 理 可 以 得 到 
I(X;Z) < I(Y;Z) 

这 说 明 当 消息 通过 多 级 处 理 器 时 , 随 着 处 理 器 数目 的 增多 ,输入 消息 与 输出 消息 之 间 的 平均 
互信 息 量 趋 于 变 小 。 这 就 是 数据 处 理 定理 ,数据 处 理 过 程 中 只 会 失掉 一 些 信息 , 绝 不 会 创造 
出 新 的 信息 ,所 谓 信息 不 增 性 。 任 何 信息 处 理 过 程 总 会 失掉 信息 ,最 多 保持 原来 的 信息 ,一 
且 失 掉 了 信息 ,用 任何 处 理 手 段 , 也 不 可 能 再 恢复 已 丢失 的 信息 。 

通信 系统 中 ,用 图 2-9 来 表示 序列 消息 经 过 编译 码 和 信道 传输 的 过 程 ,根据 信息 不 增 性 
原理 有 : 

I(U;V)SICX;V),T(X;V)SICX;Y) ,从 而 I(U;V)SI(X;Y) 


x 第 一 级 |_ 了 | 第 二 级 | 2Z Wi Vr V 
输入 | 处 理 器 二 | 处 理 器 -| 编码 一 | 信 -| 译 码 一 一 
图 2-8 级 联 处 理 器 示意 图 图 2-9 一 般 通 信 系统 
所 以 ,信息 经 过 编码 或 译 码 处 理 均 不 可 能 增加 ,只 会 减少 。 


那么 ,如 何 才能 获得 越 来 越 多 的 信息 量 呢 ? 只 能 通过 对 信 源 X 进行 多 次 观察 测量 ,从 
结果 Y 中 得 到 信息 量 。 如 果 用 Y; 、Y。… 分 别 表示 第 一 次 测量 值 , 第 二 次 测量 值 …, 由 于 
HCXIY1) 宇 HCXIYi,Y2) ,所 以 ICX; mm Y) 三 ITCX; Yi)。 可 以 证 明 取 测量 值 Y 的 次 数 越 
多 ,X 的 条 件 炉 越 小 ,获得 的 信息 量 就 越 大 。 尤 其 当 各 次 测量 值 相互 独立 时 ,趋势 更 明显 。 
取 Y 无数 次 后 ,HC(X|Yi ,Ys,Y;,…) 一 0。 


例 2-11 有 一 信 源 输出 XE 10,1,2) ,其 概率 为 p(0) 一 二,p(1) 一 二,p(2) 一 方 。 设计 


两 个 独立 实验 去 观察 它 , 其 结果 分 别 为 Yi E10,1)} 和 YE€1{0,1)。 已 知 条 件 概 率 如 表 2-5 
所 示 。 
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表 2-5 实验 得 到 的 条 件 概率 


y1 yz 
0 时 0 1 
晤 plylz) 六 plyz |7) 
0 1 0 0 1 0 
0 1 
2 1/2 1/2 2 0 


(1) 求 ICX;m 7 和 TOX;Y:) ,并 判断 哪 一 个 实验 好 些 。 

(2) 求 I(X;Y1,Y,), 并 计算 做 Yl 和 Y, 两 个 实验 比 做 Y, 或 Y。 中 的 一 个 实验 各 可 多 得 
多 少 关于 X 的 信息 。 

(3) 求 IC(X3Y1|Ys) 和 I 了 ICX;Y,s |Y,) 

解 : (1) 由 题 意 得 PC(y,==0)=P(y1=0|z=0)P(z=0) 十 P(y=01zx=1)P(zx=1)+ 


了 (一 0lz=2)PCz=2) 一 并 


同 理 得 PCy 二 1) :Py 0) ,PCys 1) 


由 于 1CX;Y)=H(YD) 一 HCY,|X) 
其 中 Er)= 有 去]=1biv/ 符 号 


2 


4 
所 以 pn 
同 理 得 I(X;Y,) 二 1 一 0 二 1bit/ 符 号 
由 于 I(X;Y1) 达 I(X;Y,), 因 此 第 二 个 实验 好 。 


(2) HOO=HH( 二 证, 计 )=1.5bit/ 答 号 


HCr | X) 上 X0+ 放 X0 十 Xx [ 半 log2 十 吉 log2]= 0.5biv 符号 


4 "4 ?2 
I(X;Y1,Y.)=H(X)—H(XIY,Y)=H(Y,Y:)—H(Y ,yz1X) 


yi» ye (0,0) (0,1) (1,0) (1,1) 
1 1 1 
Ply»y2) 过 | A 加 到 
eR 
Ho vy:) =H( 主 ， 二 )= 2bit/ 符号 
是 a i 1 i 
H(isYs | XY pT X0 十 机 X 0 十 FX 到 log2 十 到 log2 0. 5bit/ 符号 


所 以 ITCX;Y: ,Yz) 一 2 一 0.5 王 1.5bit/ 符 号 

做 两 个 实验 比 单 做 YY 多 得 信息 量 ITCX;Y ,Ys) 一 I(X;Y1) 二 1bit/ 符 号 

比 单 做 Y, 多 得 信息 量 I(X;Yi ,Ys) 一 I(X;Ys) 二 0. 5bit/ 符 号 

(ay TX Y= TX =1(X)=1.5=1=0.5bity 符 对 
(XSyY YD=T(XIY 1(XIN)=1.5—0.5=1bit/ 答 号 
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由 于 TOX; 到) 王 TCR ETCXIY |) 二 IT(X;Y,) ,说 明 在 做 完 实验 Y 或 Y, 的 条 件 
下 再 做 第 二 个 实验 ,并 没有 获得 更 多 的 信息 量 , 因 为 Y 和 Y。 相互 独立 ,没有 任何 关联 性 。 


2.2.5 相对 暗 

车 p; 和 4 是 相对 于 同一 信 源 的 两 个 概率 测度 ,人 们 通常 希望 度量 概率 分 布 p; 和 4 之 间 
的 差异 ,这 时 需要 定义 一 个 量 , 称 为 相对 炉 (relative entropy) 。p 相对 于 g 的 相对 炉 定 义 为 

D(p// 9)= Dpilog 

相对 炉 也 称 为 交叉 炉 或 Kullback-Leibler 距离 。 它 满足 两 个 要 求 : 非 负 性 ; 当 且 仅 当 
对 所 有 i,p; 二 gq; 时 ,相对 焙 为 零 。 

相对 炉 可 以 看 成 为 两 个 概率 测度 之 间 的 “距离 ”, 即 两 概率 测度 不 同 的 程度 的 度量 。 但 
是 , 它 并 不 是 通常 意义 下 的 距离 ,因为 相对 炉 不 满足 对 称 性 , 即 D(Cp//g) 取 DCg// p)。 

相对 炉 的 解释 是 ,对 于 概率 分 布 为 p; 的 某 信 源 X ,如 果 采 用 编码 长 度 为 KCp; ) 的 方式 进 
行 编码 , 则 平均 码 长 为 H(p) = 》)pi1(pi) = 一 >pilogp;; 如 果 采 用 针对 概率 分 布 为 g 的 
码 长 方式 进行 编码 , 每 个 符号 的 编码 长 度 为 1(g;), 则 平均 码 长 为 3p,1(g) = 
一 了 pilogqi。 如 表 2-6 所 示 。 那 么 ,由 于 编码 方案 2 的 概率 不 匹配 ,使 得 平均 码 长 增加 , 增 
加 量 即 为 相对 信 : 

— Dpilogg — [~— Dpilogp:]= Dp / %) (2-2-18) 


因此 ,相对 灶 度 量 的 是 当真 实 分 布 为 忆 而 假定 分 布 为 9 时 的 无 效 性 。 实 际 应 用 中 ,假设 
信 源 的 真实 分 布 为 p, 但 一 般 情况 下 ,通过 测量 等 手段 只 能 获得 概率 分 布 ,研究 相对 焙 的 目 
的 就 是 要 减 小 相对 入 DD, 使 得 概率 分 布 g 接近 ,以 便 得 到 更 加 精确 的 概率 模型 。 
表 2-6 相对 蚁 的 解释 


符号 1 符号 2 ses 符号 n 平均 码 长 
信 源 符号 Zl x we 区 
概率 分 布 a ps wa 加 
编码 方案 1 —logp —logp: 六 —logp, | K, = 一 2) pilog p 
编码 方案 2 一 log9g 一 logq2 加 一 logq。 K, = 一 >) pilog q; 


一 般 定义 : Olog =0, plog 0 
对 照 互信 息 的 概念 ,可 定义 互信 息 I(X;Y) 为 联合 分 布 p(x,y) 与 乘积 分 布 p(x)p(y) 
之 间 的 相对 箭 , 即 


LX = Dp olog be 


i plr)ply) 
由 于 相对 焙 是 非 负 的 ,通常 可 以 利用 这 一 特性 证 明 信 息 论 中 的 一 些 定理 和 性 质 。 
2.2.6 类 的 性 质 
1. 非 负 性 : 


H(X) = H(pi,ps,*…,p,) 宇 0 
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式 中 的 等 号 只 有 在 户 =1 时 成 立 。 因 为 0 二 pi; 二 1, 则 logp; 一 定 是 一 个 负数 ,所 以 炉 是 非 
负 的 。 


H(0,1) = H(1,0,0,*…,0)=0 

只 要 信 源 符号 表 中 ,有 一 个 符号 的 出 现 概率 为 1, 信 源 炉 就 等 于 零 。 在 概率 空间 中 ,如 
果 有 两 个 基本 事件 ,其 中 一 个 是 必然 事件 , 男 一 个 则 是 不 可 能 事件 ,因此 没有 不 肯定 性 , 炉 必 
为 零 。 当 然 可 以 类 推 到 个 基本 事件 构成 的 概率 空间 。 

3. 对 称 性 

焙 函 数 所 有 变 元 可 以 互 换 , 而 不 影响 郴 数 值 。 即 

H(pisp2s™* ,ps) = HOpss pi sp,) 

因为 炉 函数 只 与 随机 变量 的 总 体 结构 有 关 , 例 如 下 列 信 源 的 炉 都 是 相等 的 。 

Xx _|lX Ts Ts My yz ys Z | 攻 ，) Zz 3 

[|- 二 1/2 | [zs|- 全 1/6 | [zs|- bs 1/3 a 

4. 香农 辅助 定理 

对 于 任意 维 概率 矢量 P 二 (pi ,ps，…,p,) 和 Q 二 (qi1 qq) ,如 下 不 等 式 成 立 


HOpis pass ps) =— 2 pilogp: <— 2 pilogg: (2-2-19) 

该 式 表 明 , 对 任意 概率 分 布 p;, 它 对 其 他 概率 分 布 g; 的 自信 息 量 一 logg; 取 数 学 期 望 
时 , 必 大 于 pi; 本身 的 焙 。 等 号 仅 当 P= 二 Q 时 成 立 。 该 式 的 物理 含义 可 参见 相对 炉 。 

5. 最 大 炉 定 理 

离散 无 记忆 信 源 输出 M 个 不 同 的 信息 符号 , 当 且 仅 当 各 个 符号 出 现 概率 相等 时 ( 即 
pi 二 1/MD) , 和 最 大 。 因 为 出 现任 何 符号 的 可 能 性 相等 时 ,不 确定 性 最 大 , 即 

HX) < (而: 疝 … 南 ]= logM 

6. 条 件 炉 小 于 无 条 件 焙 

条 件 炉 小 于 信 源 焙 : H(Y|X) 三 HC(Y)。 当 且 仅 当 y 和 x 相互 独立 时 ,p(y|z) 王 
p(y), 取 等 号 。 

两 个 条 件 下 的 条 件 粹 小 于 一 个 条 件 下 的 条 件 炉 , 即 有 (ZI1X,Y) 三 HH(ZIY)。 当 且 仅 当 
p(zlz,y) 二 p(z|y) 时 取 等 号 。 

联合 炉 小 于 信 源 炉 之 和 : H(X,Y 站 二 HC(X) 十 H(Y)。 当 且 仅 当 两 个 集合 相互 独立 时 取 
等 号 ,此 时 可 得 联合 炉 的 最 大 值 , 即 H(X,Y),. 一 H(X) 十 H(Y)。 

7. 扩展 性 

limHan (pis%e ps — ee) = HCprseees pn) (2-2-20) 
因为 limelogs 一 0, 所 以 上 式 成 立 。 

该 性 质 说 明 , 信 源 的 取 值 增多 时 , 若 这 些 取 值 对 应 的 概率 很 小 (接近 于 零 ) , 则 信 源 的 业 
不 变 。 这 是 因为 虽然 概率 很 小 的 事件 出 现 后 ,给 予 收 信者 较 多 的 信息 。 但 从 总 体 来 考虑 时 ， 
因为 这 种 概率 很 小 的 事件 几乎 不 会 出 现 , 所 以 它 在 箭 的 计算 中 占 的 比重 很 小 。 这 也 是 箭 的 
总 体 平均 性 的 一 种 体现 。 

8. 可 加 性 

H(X,)=H(X) 十 H(Y1X), 当 XY 相互 独立 时 ,H(X,Y)=H(X) 十 H(Y)。 
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如 果 考 虑 概率 的 形式 , 设 X 的 概率 分 布 为 ( 户 , 户 ,…' 思 ), 已 知 X 的 情况 下 Y 的 条 件 
概率 为 背 (Y 一 1X=2z) 二 加 , 则 可 加 性 表示 为 
Hm (pipns zj jb) 


= H,(piss ps) + DpiH, (Cpa, ,pin) (2-2-21) 
i=1 


式 中 DpiHn(pas*…*,pm) = HY | X). 
i=1 


9. 递增 性 
到 下 @ gn 
Htmi CPi pa Pr-i gig "qm) 一 Ho Cp peseees pes pr) + pr (2 pp ,| 
(2=2=22) 


其 中 和 pi 二 1,24 二 
该 性 质 表明 ,车 原 信 源 X 中 有 一 元 素 划 分 成 m 个 元 素 ( 符 号 ) ,而 这 m 个 元 素 的 概率 之 
和 等 于 原 元 素 的 概率 , 则 新 信 源 的 炉 会 增加 。 灶 增 加 了 的 一 项 是 由 于 划分 而 产生 的 不 确 
运用 式 (2-2-22) ,可 作 下 列 分 解 : 
Ha CPi pris pa) = Ha (pi prss pnt pn) + (pai +poH (#2 守 二 去 
(2-2-23) 
即 含有 个 元 素 的 炉 可 分 解 成 一 个 (x 一 了 1) 个 元 素 的 炉 和 一 个 加 权 二 元 信 源 粹 。 对 式 (2-2-23) 
右边 第 一 项 还 可 以 进一步 分 解 ,直到 等 式 中 只 存在 二 元 入 为 止 ,最 终 可 表示 成 (n 一 1) 个 二 
元 信 源 炉 的 加 权 和 。 这 样 可 以 使 计算 多 元 信 源 人 简 化 。 


例 2-12 厅 [ 寺 二 二 二 = 三 (去 十 二] 十 于 王 ( 寺 全] 一 下 (去 二 )+ 
(二 全 + 二 (公公 】 了 bit/ 符 号 
为 了 便于 理解 和 记忆 灶 函 数 之 间 的 关系 ,可 用 


图 2-10 所 示 的 维 拉 图 来 表示 。 图 中 两 圆 外 轮廓 表示 联 
合 炉 肛 (X, 六 , 圆 ) 表 示 HCX), 圆 (2) 表 示 五 (7) , 则 


H(X,Y) = H(X)+ H(Y | X) = H(Y)+H(X|Y) BO 
H(X) 宇 H(X|Y), H(Y)H(Y | X) O) 
XY = X= (EYY= HOY= HO | X} 
= H(X)+ HOY) — H(X,Y) HAD 
SH TA 图 2-10 互信 息 量 与 信之 间 的 关系 
如 果 X 与 互 相 独 立 , 则 
I(X;Y)=0 


H(X,Y) = H(X)+ H(Y) 
H(X)= H(X |Y), H(Y) = H(Y | X) 
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2.3 ”离散 序列 信 源 的 焕 


前 面 讨 论 了 单个 消息 (符号 ) 的 离散 信 源 的 炉 ,并 较 详 细 地 讨论 了 它 的 性 质 。 然 而 实际 
信 源 的 输出 往往 是 空间 或 时 间 的 离散 随机 序列 ,其 中 有 无 记忆 的 离散 信 源 序列 ,当然 更 多 的 
是 有 记忆 的 , 即 序列 中 的 符号 之 间 有 相关 性 。 此 时 需要 用 联合 概率 分 布 函数 或 条 件 概率 分 
布 函数 来 描述 信 源 发 出 的 符号 间 的 关系 。 这 里 讨论 离散 无 记忆 序列 信 源 和 两 类 较 简单 的 离 
散 有 记忆 序列 信 源 (平稳 序列 和 齐 次 遍历 马尔 可 夫 链 信 源 ) 。 

2.3.1 离散 无 记忆 信 源 的 序列 蚁 

设 信 源 输 出 的 随机 序列 为 X,X 一 (Xi ,Xs，…,，X,，… ,XL), 序 列 中 的 单个 符号 变量 
XiE{zyz ez) =1,2,…, 工 , 即 序列 长 为 工 。 随 机 序列 的 概率 为 


p(X=x)= PX = zx, Xs = za KL 一 0) 和 一 1) 2 一 1 2 
这 时 信 源 的 序列 炉 为 


H(X) =— >) px)logp (x) 一 一 >) DD pls sr ss i logp (ra sxi se sh, ) 
证 1 和 一 1 


其 中 随机 序列 的 概率 可 表示 成 
PX =x1) = px aa 9 Ti ) 


和 


=p(zn pz | Za)plz | za yz )… 力 (0 | TIT 交 2 和 1 放 


Ll 
一 户 (Zn ) 轧 (Za | Za)plz | a pl | ee 
当 信 源 无 记忆 时 , p(x) = bz za ) 一 p(xa)p(z) p(x)""p(zr,) = 
了 上 


TI pz )。 这 时 信 源 的 序列 焙 可 表示 为 


l=1 


HO =— 2 DD pra) pl ) pl )[logpCza ) + + logp(za )] 
lio=l iL=l 


=— Pplri) PD pla) 2 prs Mogpls ) 
io=1 iL=1 站 一 1 


= > prs ) pz ) Pps )logp (zi, ) 
=1 iL=1 iz=1 


— PD pla) >) plrs ,) plz logplzs) 
a i 


Ll 


t=1 
若 又 满足 平稳 特性 , 即 与 序号 ! 无 关 时 , 则 有 末 (X1) 二 有 H(X;s) 二 … 二 有 H(XL), 这 时 信 源 
的 序列 粒 又 可 表示 为 H(X) 二 LH(X) .平均 每 个 符号 (消息 ) 粹 为 
1 


Hr(X) = TH(X) = HX) (2-3-1) 
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可 见 ,离散 无 记忆 信 源 平均 每 个 符号 的 符号 焙 Hi (X) 就 等 于 单个 符号 信 源 的 符号 粒 
五 (X) 。 例 如 有 一 个 无 记忆 信 源 ,随机 变量 XE (0,1) ,等 概率 分 布 ,以 单个 符号 出 现 为 一 事 
件 , 则 此 时 的 信 源 炉 孔 (X) 二 1bit/ 符 号 , 即 用 1bit 就 可 表示 该 事件 。 如 果 以 两 个 符号 出 现 
( 工 二 2 的 序列 ) 为 一 事件 , 则 随机 序列 XE (00,01,10,11) , 信 源 的 序列 灶 H(X) 一 log:4 一 


2bit/ 序 列 , 即 用 2bit 才能 表示 该 事件 。 信 源 的 符号 入 Hs(X)== 立 HCX) 一 1bit/ 符 号 。 


2.3.2 ”离散 有 记忆 信 源 的 序列 炳 


对 于 有 记忆 信 源 ,就 不 像 无 记忆 信 源 那样 简单 , 它 必 须 引 入 条 件 炉 的 概念 ,而 且 只 能 在 
某 些 特殊 情况 下 才能 得 到 一 些 有 价值 的 结论 。 
对 于 由 两 个 符号 组 成 的 联合 信 源 ,有 下 列 结论 : 
(1) H(X1,Xs)=H(X1)+H(X, IX )=H(X,)+H(X |X,) 
(2) HC(X)H(XI|X:),H(X2)>H(X|X) 
第 一 式 表明 信 源 的 联合 炉 ( 即 前 后 两 个 符号 (Xi ,XX,) 同 时 发 生 的 不 确定 度 ) 等 于 信 源 发 
出 前 一 个 符号 Xi 的 信息 粹 加 上 前 一 个 符号 Xi 已 知 时 信 源 发 出 下 一 个 符号 X, 的 条 件 炉 。 
当前 后 符号 无 依存 关系 时 ,有 下 列 推论 : 
H(Xi1,Xi) = H(X) + H(X.), H(X, | Xs) = HC(X), H(X; | X) = HO(X;) 
对 于 一 般 的 有 记忆 信 源 如 文字 ,数据 等 ,它们 输出 的 不 是 单个 或 两 个 符号 ,而 是 由 有 限 
个 符号 组 成 的 序列 ,这些 输出 符号 之 间 存 在 着 相互 依存 的 关系 。 可 依照 上 述 结论 来 分 析 序 
列 的 炉 值 。 
若 信 源 输出 一 个 工 长 序列 , 则 信 源 的 序列 炉 为 
H(X) = H(Xi,X2,°%, Xi) = HCX1)+ HOCX, | Xi) + + HOXL | Xi, Xa, KL) 
(2-3-2) 
记 作 
H(X) = H(X') = 和 Hex 1 


平均 每 个 符号 的 凡 为 

HL(X) = THX (923.8) 
若 当 信 源 退化 为 无 记忆 时 ,有 

H(X) = > HOC 
若 进一步 又 满足 平稳 性 时 , 则 有 

HC) = LHCX) 
这 一 结论 与 离散 无 记忆 信 源 结论 是 完全 一 臻 的。 可见 ,无 记忆 信 源 是 上 述 有 记忆 信 源 的 一 
个 特例 。 
al az as 


XxX 
例 2-13 和 有 有 记 人 中 各 和 号 的 人 癌 为 [| -| 1 |. am 


和 4 
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发 出 二 重 符号 序列 消息 (a;,a;) ,这 两 个 符号 的 概率 关联 性 用 条 件 概率 p(aj 1a;) 表 示 , 并 由 
表 2-7 给 出 。 可 以 求 出 信 源 的 序列 箭 和 平均 符号 箭 。 


表 2-7 条 件 概率 p(aj jai) 


三 
aa az as 
plajlai) 
Qi 9/11 2/11 0 
a 1/8 3/4 1/8 
as 0 2/9 7/9 


条 件 炉 
3 3 
H(X; | X1) 一 一 >) >) plaisaj)logp(a; | ai) = 0.872bit/ 符号 
i=1 j=1 
单 符号 信 源 人 
3 
Hi(X) = H(X1) = 一 2)p(ai)logp(a;) = 1.543bit/ 符号 
i=] 
发 二 重 符号 序列 的 录 
HC(Xi,X:) = 再 (X) + HC(X, | X1) = 1.543 十 0.872 = 2.415bit/ 序列 
平均 符号 
BCX) = YHCX) 二 1. 21bit/ 符号 


比较 上 述 结果 可 得 : BCX) 二 BCX), 即 二 重 序列 的 符号 业 值 较 单 符号 箭 变 小 了 ,也 就 


是 不 确定 度 减 小 了 ,这 是 由 于 符号 之 间 存 在 关联 性 (相关 性 ?造成 的 。 


考虑 离散 平稳 信 源 ,其 联合 概率 具有 时 间 推 移 不 变性 , 即 
P{Xs = Ti = za" 一 xz} = PlXim = Ti1 Kim = Za Ki = ZL} 

此 时 有 下 列 结论 : 

结论 1 HH(XL/X'-!') 是 工 的 单调 非 增 函 数 。 

由 于 条 件 焙 小 于 或 等 于 无 条 件 , 条 件 较 多 的 焙 小 于 或 等 于 减少 一 些 条 件 的 箭 ,考虑 到 


平稳 性 ,所 以 


HR | | 
二 有 (XL | Xi1,…,XL-s) (平稳 性 ) 
SH(XL | Xo, , XL) 
=H(XL-s | Xi,*…, XL) 


eH | (2-3-4) 
结论 2 HL(X)>H(OXLIX"!) 
因为 
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有 CX) 一 于 了 OCX Xe, KL) 


H(X, | X 1) 


上 下 个 


= 
tr | XD) + + HOXL | Xi ,Xa ,XL1)] 
由 结论 1 得 上 式 中 的 有 H(XL 1X ,X。，,…,XL-1) 是 和 式 工 项 中 最 小 的 ,所 以 
HL(X) 宇 XLHCX, | X1, Xa, Kr) = HOCXL | X71) 


结论 3 Hi(X) 是 工 的 单调 非 增 函数 
因为 LHL(X)=H(OX ,Kes Ri)=H(Ri, Xess Ki) +HORL [Kis Xs:s Xi) 
=(L—1)HL.A(X)+ H(XLIX’-!) 
运用 结论 2 得 
He(X) < Hei(X) (2-3-5) 
该 式 说 明 随 着 工 的 增 大 ,增加 的 炉 值 昌 (XL |X ) 越 来 越 小 (由 结论 1 得 ) ,导致 平均 符号 
炳 随 着 工 的 增 大 而 减 小 。 即 … HL-_1(X) 三 Hi (X) 宇 Hn (X)… 
结论 4 当 工 一 cc 时 ,有 
H.(X) Slim HL (X) = limHCOX, | XXX ) (2-3-6) 
式 中 , 甩 ,(X) 称 为 极限 蛟 ,又 称 极限 信息 量 。 
现在 证 明 式 (2-3-6) ,根据 结论 1 有 
Hem ¥) 一 六 [县 (X Ke) + HOXL | Xi se XK) 


LI 
十 … 十 五 (Xi | Xi XL) 
SFH Xe) + HO | Xi se Ki) 
+ HOXL | Xi …XL-) 十 … 十 五 (Xi | Xi ,Xi)] 
= 站 CO- 十 全 二 AGO bc 
取 足 够 大 的 k(k 一 吕 ) ,固定 工 , 前 一 项 可 忽略 ,后 一 项 系数 接近 于 1 ,得 
limHin(X) < HOXi | Xe (2-3-7) 


结论 2 和 式 (2-3-7) 表 明 ,条件 炉 及 (XL | Xi,… ,XL-1) 的 值 是 在 Hi(X) 和 HL,(X) 之 间 ， 
令 L> 吕 ,Hi(X) 应 等 于 Hi+4(X) (假设 极 限 存在 ), 故 得 
limH.(X) = limH(X. | Xi ,Xess KL) 
推广 结论 3 可 得 
Ho。(X) > Hi(X) > H;(X)… > H. (xX) (2-3-8) 
其 中 及 ,(X) 为 等 概率 无 记忆 信 源 单个 符号 的 粹 ,有 H,(X) 为 一 般 无 记忆 (不 等 概率 ) 信 源 单 个 
符号 的 炉 ,及 ;:(X) 为 两 个 符号 组 成 的 序列 平均 符号 们 , 依 此 类 推 。 
对 于 有 记忆 工 长 序列 信 源 ,其 序列 粹 也 (X) 和 平均 符号 粮 Hi(X) 都 只 考虑 了 序列 中 工 
个 符号 间 的 相关 性 ,而 序列 之 间 则 被 认为 是 相互 独立 的 ,这 与 实际 信 源 的 情况 是 不 相符 合 
的 。 实 际 上 , 信 源 在 不 断 地 发 出 符号 ,符号 之 间 的 统计 关联 性 并 不 仅 限于 长 度 工 ,而 是 伸 向 
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无 穷 远 。 因 此 ,只 有 极限 炉 才能 最 真实 地 反映 信 源 的 实际 情况 。 
结论 4 从 理论 上 定义 了 平稳 离散 有 记忆 信 源 的 极限 炉 , 但 是 ,实际 上 如 按 此 公式 计算 极 
限 粹 ,必须 求 出 信 源 的 无 穷 维 符 号 的 联合 概率 和 条 件 概 率 分 布 ,这 是 十 分 困难 的 。 然 而 对 于 
一 般 离 散 平稳 信 源 ,由 于 取 工 不 很 大 时 就 能 得 出 非常 接近 互 。(X) 值 的 Hi(X) ,因此 在 实际 
应 用 中 常 取 有 限 工 下 的 条 件 炉 互 (Xi|X'-!) 作 为 日 (X) 的 近似 值 。 因 为 当 平稳 离散 信 源 
输出 序列 的 相关 性 随 着 工 的 增加 迅速 减 小 时 ,其 序列 炉 的 增加 量 太 (XL | X71!) 与 相关 性 有 
关 , 相 关 性 很 弱 , 则 百 (X | Xi, Xs,… ,XL 之 HCXL| Xs, RL)=H(XL | Xi 
XL-:) ,增加 量 不 再 变 小 ,所 以 平均 符号 炉 也 几乎 不 再 减 小 。 
当 上 述 平稳 信 源 满足 m 阶 马尔 可 夫 性 质 时 , 即 信 源 发 出 的 符号 只 与 前 面 的 m 个 符号 有 
关 , 而 与 更 前 面 出 现 的 符号 无 关 。 用 概率 意义 表达 为 
plx | Tl Te? 9 Ta 9 9 Tm ) be pl | Xi-1 9，r 一 2 ye gin) 
则 根据 式 (2-3-6) 可 得 
HX) = limHOXL | Xi Xen, Ki) = 再 (Xe | Xis Kare Xn) (2-3-9) 
上 述 公式 在 工程 上 很 实用 , 即 只 需求 出 条 件 焕 。 
对 于 齐 次 ,遍历 的 马尔 可 夫 链 ,其 状态 s; 由 (z ,… ,zi, ) 唯 一 确定 ,因此 有 
pron | Tas za) = pron | si) (2-3-10) 
上 式 两 边 同 取 对 数 , 并 对 zu ,zu yz 和 5; 取 统计 平均 ,然后 取 负 ,可 以 得 到 


左边 = 一 3 力 (2 ns Tn »si)logp (xi, | 2 
而 和 
一 一 > Prin ,Ta )logp (ri, | 区 
名 AH 于 
=H(Xnn | Xn ,X1) 
一 五 - (X) 
右边 = 一 > Dm 9 ,Si)logp (xi, 1s) 
Cr 
二 一 3 Pz ss Ta ss Pri | Ti oT ssi)logp (xin | si) 
人 
一 一 > Dp sd) pi,, | si)logp (zi | si) 
Pr 
= DpGYIHOX | s) 
即 
Hs(X)= DPIHOX | Ss) C2-3-11) 


其 中 p(s;) 是 马尔 可 夫 链 的 稳 态 分 布 , 它 可 以 由 式 (2-1-7) 计 算得 到 。 炉 函数 态 (X1s;) 表 示 
信 源 处 于 某 一 状态 s; 时 发 出 一 个 消息 符号 的 平均 不 确定 性 , 即 有 
H(X | si) =— Dp | si)logp (zx; | s;) (2-3-12) 


对 状态 s; 的 全 部 可 能 性 作 统计 平均 ,就 可 得 到 马尔 可 夫 信 源 的 平均 符号 灶 五 - (X) 。 
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104 例 2-14 如 图 2-11 所 示 的 三 状态 马尔 可 夫 信 源 , 其 
转移 概率 矩阵 为 
0.1 0 0.9 
i 0 | 
0 0.2 0.8 
设 稳 态 分 布 的 概率 矢量 为 W 二 (Wi ,Ws,W;), 则 
WP =W 
图 2-11 三 状态 马尔 可 夫 信 源 Sw,=1 
状态 转移 图 = 
W, 二 0 


解 得 Wi==5/59,W: 二 9/59,Ws 二 45/59。 
在 s; 状态 下 每 输出 一 个 符号 的 平均 信息 量 为 


H(X | 5) = 0.1X log, 二 上 0.9 x log; 二 = 如 (0.1) = 0.469bit 符号 


HO(X |ss) = HC(0;5) = 1bit/ 符 号 
H(X | ss) = H(0.2) = 0.722bit/ 符号 
对 三 个 状态 取 统 计 平 均 后 得 到 信 源 每 输出 一 个 符号 的 信息 量 , 即 马尔 可 夫 信 源 的 人 


Ho(X) = >)WiH(X | s;) = 0.743bit/ 符号 
最 后 ,来 比较 一 下 m 阶 马尔 可 夫 信 源 与 一 般 有 记忆 信 源 之 间 的 区 别 。 一 是 马尔 可 夫 信 
源 发 出 的 是 一 个 个 符号 ,而 工 长 有 记忆 信 源 发 出 的 是 一 组 组 序列 。 二 是 工 长 有 记忆 信 源 用 
联合 概率 描述 符号 间 的 关联 关系 ,而 马尔 可 夫 信 源 用 条 件 概率 (状态 转移 概率 ) 描 述 符号 间 
的 关联 关系 。 三 是 马尔 可 夫 信 源 的 记忆 长 度 虽然 有 限 ,但 依赖 关系 延伸 至 无 穷 远 ; 而 L 长 
有 记忆 信 源 符号 间 的 依赖 关系 仅 限于 序列 内 部 ,序列 间 没 有 依赖 关系 。 


2.4 ”连续 信 源 的 烂 和 互信 息 


前 面 讨论 的 是 离散 信 源 的 情况 ,其 统计 特性 用 概率 分 布 来 描述 。 对 于 实际 应 用 中 常常 
遇 到 的 连续 信 源 ,不 仅 幅 度 是 连续 的 ,有 些 在 时 间或 频率 上 也 连续 ,其 统计 特性 就 需要 用 概 
率 密度 函数 来 描述 。 用 离散 变量 来 冯 近 连续 变量 , 即 认为 连续 变量 是 离散 变量 的 极限 情况 ， 
从 这 个 角度 来 看 连续 信 源 的 信息 量 。 下 面 将 讨论 幅度 连续 的 单个 符号 信 源 粹 和 连续 波形 信 
源 的 箭 。 


2.4.1 幅度 连续 的 单个 符号 信 源 类 


先 分 析 单 个 变量 的 情况 。 假 设 -EL[a,6], 令 Az 二 (6 一 a)/n,zx;E[a 二 (i 一 1)Azx,a 十 
iAzxj ,px (ZX) 为 连续 变量 X 的 概率 密度 函数 , 则 利用 中 值 定 理 可 得 X 取 zi; 的 概率 是 
了 二 i PT Eg 人 
根据 离散 信 源 箭 的 定义 , 则 
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H,(X) =— Dplri)logp (zi) 
i=1 


=— PD) px (zi)Arlogpx (zi) A 
El 
当 m ~co 时 , 即 Ax 一 0 时 ,由 积分 定义 得 
H(X) =limH,(X) 


b b 
=—| px(zxi)logpx (zi)dr— limlogAz| px(xi)dr 
a Ar—-0 a 


6 
=— | px Cx)logpx (x) dr — limlogAr (2-4-2) 
a Ar-0 


上 式 的 第 一 项 具有 离散 信 源 炉 的 形式 ,是 定 值 ; 第 二 项 为 无 穷 大 。 因 而 丢掉 第 二 项 ,并 定义 
连续 信 源 粹 为 


H.(X) =-| px (x)logpx (zx)dzr (2-4-3) 


称 为 微分 炉 (differential entropy) ,有 时 也 简称 为 炉 。 

连续 信 源 恼 与 离散 信 源 焙 具有 相同 的 形式 ,但 其 意义 不 同 。 连 续 信 源 的 不 确定 度 应 为 
无 穷 大 ,这 是 因为 连续 信 源 可 以 假设 是 一 个 不 可 数 的 无 限 多 个 幅度 值 的 信 源 ,需要 无 限 多 个 
二 进 制 位 数 (比特 ) 来 表示 ,因而 它 的 炉 为 无 穷 大 。 但 采用 式 (2-4-3) 来 定义 连续 信 源 的 炳 
是 因为 在 实际 问题 中 , 常 遇 到 的 是 炉 之 间 的 差 , 如 互信 息 量 ,只 要 两 者 允 近 时 所 取 的 Ax 一 
致 , 式 (2-4-2) 中 第 二 项 无 穷 大 量 是 抵消 的 。 因 此 ,连续 信 源 的 焙 具有 相对 性 ,在 取 两 炉 之 
间 的 差 时 才 具 有 信息 的 所 有 特性 ,例如 非 负 性 等 。 

例 2-15 有 一 信 源 概率 密度 如 图 2-12 所 示 , 由 图 2-12(a) 得 


co £3 
H.0) = 一 | mcologpxCodz =—| Flog4 dr = 1bit 
由 图 2-12(b) 得 
co 6 
H.CX) =—| Dy Clop td =-| Tlog 于 dz = 2bit 


AD DC) 
1 t= 
1/4 
心 ， 下 -3 本 3 
(a) 信 源 输出 信号 的 概率 密度 (b) 输出 信号 被 放大 2 倍 后 的 概率 密度 


图 2-12 信和 源 概率 密度 
图 2-12(b) 是 图 2-12(a) 的 放大 ,计算 结果 表明 信息 量 增加 了 ,这 是 荒 廖 的 。 因 为 这 
两 种 情况 的 绝对 灶 是 不 会 变 的 。 这 是 由 无 穷 大 项 所 造成 的 ,两 者 通 近 时 所 取 Az 不 一 致 ， 
图 2-12(b) 比 图 2-12(a) 小 了 1bit。 因 此 五 .CX) 给 出 的 米 有 相对 意义 ,而 不 是 绝对 值 。 
用 上 述 方法 同样 可 定义 XY 两 个 变量 的 情况 : 
联合 炉 : H.(X,Y) 一 | 上 Div yoppea tr ddy 
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条 件 炉 : H.(Y | X) 一 | | pr py ee 
它们 之 间 也 有 与 离散 信 源 一 样 的 相互 关系 ,并 且 可 以 得 到 有 信息 特征 的 互信 息 , 即 
H.(X,Y) = H.(X) + H.(Y | X) 
= H.(Y+H.XIY) 
I(X;Y) = I(Y;X) = H.(X)— HXIY) 
= H.(X)+H.(Y — H.(X,Y) 
= H.(Y—H.(Y|X) 
2.4.2 ”波形 信 源 的 粹 
以 上 讨论 的 是 单 符号 连续 信 源 ,然而 实际 信 源 的 输入 和 输出 都 是 幅度 连续 、 时 间或 频率 
也 连续 的 波形 ,可 用 平稳 随机 过 程 {x(4)} 和 {y(1)) 表 示 。 由 2.1.2 节 已 知 ,平稳 随机 过 程 可 
以 通过 采样 ,变换 成 时 间或 频率 上 离散 幅度 连续 的 平稳 随机 序列 ,因而 平稳 随机 过 程 的 箭 
也 就 是 平稳 随机 序列 的 粹 。 令 平稳 随机 矢量 X= (Xi, Xs，*…, XL) 和 YY 二 (Yi ,Ya ,…,Yi)， 
则 平稳 随机 矢量 X 和 Y 的 连续 炉 和 条 件 焙 为 
H.(X) = H.(X'i, Xs, ,XL) =—| pr Clogpx (x) dx 


本 ,全 | 三 Hi rr Xu Ni ) =-| | px(x,y)logpy(y | x)dxdy 
Rv R 


对 于 随机 波形 信 源 ,可 由 上 述 各 项 的 极限 表达 式 (一 =) 给 出 。 即 
有 ECz(OD) S limHe(CX) 
H.(y(D) | zx)) SlimH.(Y |X) 
对 于 限 频 /、 限 时 is 的 平稳 随机 过 程 ,可 以 用 有 限 维 工 二 2Jwts 随机 矢量 表示 。 这 样 ， 
一 个 频带 和 时 间 都 为 有 限 的 连续 时 间 过 程 就 变换 成 为 有 限 维 时 间 离 散 的 平稳 随机 序列 了 。 
和 离散 变量 中 一 样 ， 
H.C(X) = He(X1, Xs, KL) = 万 (2 ) + H.CXs | Xi ) + HCXs | X ,Xe) 
+ 二 He(XL | Xi, Xa XL ) 
H.(X) = H.(Xi, Xa KL) SHAX) + HX2) + + HXL) 
仅 当 随 机 序列 中 各 变量 统计 独立 时 等 式 成 立 。 


2.4.3 ”最 大 蚁 定理 


在 离散 信 源 情况 下 ,已 经 得 到 等 概率 信 源 的 炉 为 最 大 值 。 在 连续 信 源 中 , 当 概 率 密度 卫 
数 满足 什么 条 件 时 才能 使 连续 信 源 粹 最 大 ? 

连续 信 源 在 不 同 限制 条 件 下 最 大 信 是 不 同 的 ,在 无 限制 条 件 时 ,最 大 炉 为 无 穷 大 。 在 具 
体 应 用 中 ,只 对 连续 信 源 的 两 种 情况 感 兴趣 ,一 是 信 源 输出 幅度 受 限 , 即 限 峰 功 率 情 况 ; 二 
是 信 源 输出 平均 功率 受 限 。 下 面 给 出 两 个 定理 (证 明 从 略 ) ,在 此 只 说 明 它们 的 意义 。 

限 峰 功率 最 大 简 定理 : 对 于 定义 域 为 有 限 的 随机 变量 XX, 当 它 是 均匀 分 布 时 ,具有 最 
大 精 。 


变量 X 的 幅度 取 值 限制 在 [a, 妃 , 则 有 | px(Cz)dz 二 1, 当 任意 px(z) 符 合 平均 分 布 


条 件 
1 
wo 人 0 
0， 其 他 
时 , 信 源 达到 最 大 精 。 


H.(X) | Flog pdr oat 
该 结论 与 离散 信 源 在 以 等 概率 出 现时 达到 最 大 信 的 结论 相 类 似 。 
限 平均 功率 最 大 蚁 定理 : 对 于 相关 和 矩阵 一 定 的 随机 变量 X, 当 它 是 正 态 分 布 时 具有 最 
大 炳 。 


设 随机 变量 X 的 概率 密度 分 布 为 pr ,其 中 加 为 数学 期 望 ,or 为 方 


差 。 则 连续 炉 为 
1 -ew 


一 1 
H.(X) =—| 到 1 | 
一 


(am? 


= 1 1 .1 2 
= 已 | id 2 ] E:[ >log(2rc) 二 3 (zt—m) loge] 


1 
FE 
rE 


1 1 x 
log(2ro ) I—m)’loge Zlog(2no’) + 25loge 


| 1 1 2 
3 log(2ro2 ) 3 loge 2 log(2xeo’) 


可 以 看 到 , 当 信 源 的 概率 密度 符合 正 态 分 布 时 ,其 连续 炉 仅 与 随机 变量 的 方差 有 关 ， 
而 方差 在 物理 含义 上 往往 表示 信号 的 交流 功率 , 即 功率 为 。 在 限制 信号 平均 功率 的 条 件 


下 , 正 态 分 布 的 信 源 可 输出 最 大 连续 粹 H.(X) 二 到 log2xeo: ,其 值 随 平均 功率 的 增加 而 


增加 。 

根据 最 大 烂 定理 可 知 ,如 果品 声 是 正 态 分 布 , 则 噪声 炉 最 大 ,因此 高 斯 白 噪 声 获 得 最 大 
噪声 录 。 也 就 是 说 ,高 斯 白 噪 声 是 最 有 害 的 干扰 ,在 一 定 平均 功率 条 件 下 造成 最 大 数量 的 有 
害 信 息 。 在 通信 系统 中 ,往往 各 种 设计 都 将 高 斯 白 噪声 作为 标准 ,这 不 完全 是 为 了 简化 分 
析 ,而 是 因为 根据 最 坏 的 条 件 进 行 设计 可 获得 可 靠 系统 。 


2.5 信 源 的 元 余 度 


宛 余 度 也 称 多 余 度 或 剩余 度 。 顾 名 思 义 , 它 表 示 给 定 信 源 在 实际 发 出 消息 时 所 包含 的 
多 余 信 息 。 如 果 一 个 消息 所 包含 的 符号 比 表达 这 个 消息 所 需要 的 符号 多 ,那么 这 样 的 消息 
就 存在 多 余 度 。 

元 余 度 来 自 两 个 方面 。 一 是 信 源 符号 间 的 相关 性 ,从 式 (2-3-8) 看 出 由 于 信 源 输出 符 
号 间 的 依赖 关系 使 得 信 源 粒 小 ,这 就 是 信 源 的 相关 性 。 相 关 程 度 越 大 , 信 源 的 实际 炉 越 
小 , 趋 于 极限 粮 。(X); 反之 相关 程度 减 小 , 信 源 实际 粹 就 增 大 。 二 是 信 源 符号 分 布 的 不 
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均匀 性 , 当 等 概率 分 布 时 信 源 炉 最 大 。 而 实际 应 用 中 大 多 是 不 均匀 分 布 , 使 得 实际 信 减 小 为 
Hi,(X)。 当 信 源 输出 符号 间 彼 此 不 存在 依赖 关系 且 为 等 概率 分 布 时 , 信 源 实际 炉 趋 于 最 大 
炉 Ho(X)。 
对 于 一 般 平 稳 信 源 来 说 ,极限 业 为 互 - (X) ,这 就 是 说 要 传送 这 一 信 源 的 信息 ,理论 上 
只 需要 有 传送 互 -(X) 的 手段 即 可 。 但 实际 上 对 它 的 概率 分 布 未 能 完全 掌握 ,只 能 近似 为 
有 限 长 符号 信 源 ,算出 H,,(X) ,车 用 能 传送 有 H,,(X) 的 手段 去 传送 具有 昌 ,(X) 信 源 ,当然 就 
很 不 经 济 。 定 义 7 为 信息 效率 : 
_ 
"= 
表示 不 肯定 性 的 程度 ,由 定义 可 知 0 二 7y<1。(1 一 办 表示 肯定 性 的 程度 ,因为 肯定 性 不 含有 
信息 量 , 所 以 是 宛 余 的 。 定 义 宛 余 度 7 为 


事实 上 , 当 只 知道 信 源 符号 及 个 可 能 取 值 ,而 对 其 概率 特性 一 无 所 知 时 ,合理 的 假设 
是 : n 个 取 值 是 等 可 能 的 ,因为 此 时 炉 取 最 大 值 Hu(X)=logz。 在 统计 学 上 认为 ,最 大 
是 最 合理 ,最 自然 、 最 无 主观 性 的 假设 。 一 旦 测 得 其 一 维 分 布 ,就 能 计算 出 Hi(X) ,显然 
Ho(X) 一 Hi(X) 宇 0 是 测定 一 维 分 布 后 获得 的 信息 。 测 定 m 维 分 布 后 获得 的 信息 就 是 
Ho(X) 一 H,(X)。 若 所 有 维 分 布 都 能 测定 ,就 可 以 得 到 Ho(X) 一 Hs。(X)。 所 以 压缩 传送 
信息 多 少 有 赖 于 已 预先 从 测量 中 获得 的 信息 ,这 一 部 分 就 无 须 传送 了 。 信 源 编码 .解码 即 为 
压缩 和 恢复 完 余 信息 的 过 程 。 

以 英文 字母 的 符号 为 例 来 计算 这 些 值 。 英 文字 母 共 有 26 个 ,加 上 空格 共 27 个 符号 , 则 
最 大 焙 为 

Ho(X) 一 logs27 一 4.76bit/ 符号 
对 在 英文 书 中 各 符号 出 现 的 概率 加 以 统计 ,得 到 表 2-8 数值 。 如 果 认 为 英语 字母 间 是 离散 
无 记忆 的 , 则 根据 表 中 的 概率 可 求 得 
Hi(X) = 一 》)pilogp; = 4.03bit/ 符号 


表 2-8 英文 字母 出 现 的 概率 


符号 概率 pi 符号 概率 p; 符号 概率 户 符号 概率 户 
空格 0.2 I 0.055 C 0. 023 B 0.0105 
E 0. 105 R 0.054 F,U 0. 0225 V 0.008 
至 0.072 S 0.052 M 0.021 K 0.003 
0 0.0654 H 0.047 P 0.0175 其 0. 002 
A 0.063 D 0.035 Y,W 0.012 J,Q 0.001 
N 0.059 E 0. 029 G 0.011 2 0.001 


而 实际 上 英文 字母 之 间 还 存在 着 较 强 的 相关 性 ,不 能 简单 地 当 作 无 记忆 信 源 来 处 理 。 
例如 在 英文 文本 中 , 某 些 双 字 母 组 与 三 字母 组 的 出 现 频 度 明显 高 于 其 他 字母 组 。 出 现 频 度 
最 高 的 20 个 双 字 母 组 为 


th,he,in,er,an,reved,on,esyst,enyat,tovntyha,nd,ouyeayng,as 
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出 现 频 度 最 高 的 20 个 三 字母 组 为 
the,ing,and,her,ere,tha,nth,was,eth,for,dth,hat,she,ion,int,his, sth,ers,ver,ent 
跨度 更 大 的 字母 组 中 仍然 存在 着 相关 性 ,因此 英文 信 源 应 当 作 二 阶 、 三 阶 直至 高 阶 平稳 信 源 

来 对 待 。 根 据 有 关 研 究 可 得 
H,(X) 二 3. 32bit/ 符号 
Hs(X) = 3. 1bit/ 符号 


五-(X) == 1. 4bit/ 符号 
若 用 一 般 传送 方式 , 即 采用 等 概率 假设 下 的 信 源 符号 凿 ,(X), 则 信息 效率 乞 余 度 分 
别 为 


1 一 二 才 = 0.29 
7=1—7= 0.71 
从 上 述 例子 可 看 出 ,Hi 二 有 H,, 这 是 由 于 各 个 符号 出 现 的 概率 不 均匀 ; 而 Hs, 一 … 一 
;一 H, ,表示 随 着 字母 增多 ,字母 间 的 相关 性 越 来 越 强 。 所 以 正 是 因为 信 源 符号 中 存在 的 
这 些 统计 不 均匀 性 和 相关 性 , 才 使 得 信 源 存在 元 余 度 。 当 英文 字母 的 结构 信息 已 预先 充分 
获得 时 ,可 用 合理 的 符号 来 表达 英语 ,例如 传送 或 存储 这 些 符号 ,可 大 量 压缩 ,100 页 的 英 
语 ,大 约 只 要 29 页 就 可 以 了 。 在 实际 通信 系统 中 ,为 了 提高 传输 效率 ,往往 需要 压缩 信 源 的 
大 量 宛 余 , 即 所 谓 信 源 编码 ; 但 是 考虑 通信 中 的 抗 干扰 问题 , 则 需要 信 源 具有 一 定 的 宛 余 
度 , 因 此 在 传输 之 前 通常 加 入 某 些 特殊 的 元 余 字 符 , 即 所 谓 信道 编码 。 通 过 这 些 手 段 可 以 达 
到 通信 系统 中 要 求 的 传输 有 效 性 和 可 靠 性 。 


本 章 小 结 


本 章 首先 讨论 了 信 源 的 分 类 及 其 描述 ,给 出 了 研究 无 记忆 和 有 记忆 、 单 符号 消息 和 符号 
序列 消息 .马尔 可 夫 信 源 等 常用 离散 信 源 信息 特性 的 数学 模型 。 从 信 源 空间 的 概念 出 发 , 引 
和 人 了 自信 息 量 的 定义 ,进而 给 出 了 条 件 自信 息 量 平均 自信 息 量 、 信 源 粹 ,不 确定 度 、 条 件 人 、 
疑义 度 、 噪 声 炉 ,联合 炉 ,互信 息 量 、 条 件 互信 息 量 、 平 均 互信 息 量 以 及 相对 炉 等 基本 概念 ,使 
得 信息 可 以 度量 。 理 解 这 些 定义 的 必要 性 与 合理 性 ,并 且 能 够 举一反三 ,是 学 好 本 课程 的 基 
础 。 接 着 引入 了 信 源 宛 余 度 的 概念 , 它 给 出 了 信 源 可 以 被 压缩 的 物理 本 质 , 是 信 源 编码 的 
基础 。 

信 源 的 概率 空间 


X Es al as 0 an 
站 [es plas) ~ se 
其 中 符号 集 A={ai,as,*…,a,} ,XEA,。 p(a;) 宇 0， Srvay 一 1。 
马尔 可 夫 信 源 一 步 转移 概率 矩阵 
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pu pr ** po 

pa pz **%* pa 

ba pe … pooa 

WP 二 W,W 为 信 源 的 稳 态 分 布 概率 矢量 。 

具有 概率 为 p(x;) 的 符号 zi 自信 息 量 : T(x;) 二 一 logp (zi) 

条 件 自信 息 量 : T(x;|y;)= 一 logp (zi|y;) 

平均 自信 息 量 \ 平 均 不 确定 度 、 信 源 炉 : H(X) = 一 2 plz)logplz:) 


条 件 炉 : HC(X 1Y) = Dp el | ww) =— Dp ri,y logplzisy)) 
部 
联合 炉 :HC(X,Y) = Poe ,T(zisy) = Dp ,yi)logp zi,y;) 


plzi | NE 
ee 


Ply | zi) 


= Zp )ply; | xi)log DY 


互信 息 : I(X;Y) = 之 2 ,yi)log 


相对 炉 : D(p // gq) = Pplog BS 


数据 处 理 过 程 中 只 会 失掉 一 些 信息 ， 2 所 谓 信息 不 增 性 。 
炉 的 性 质 : 非 负 性 、 对 称 性 \ 确 定性 、 扩 展 性 、 可 加 性 、 极 值 性 、 递 增 性 。 
无 记忆 平稳 信 源 序列 箭 ， H(X)=LH(X) 


平均 符号 (消息 ) 信 为 ， Hi =THO0)=HX) 
极限 炳 : Hs CO 人 im 用 CO 一 lim 有 OCX | Xi, Xs Xi) 


Ho (X) > Hi(X) > H,(X):… > H. (X) 
马尔 可 夫 信 源 的 极限 粹 : HX) = Bp (sD)HGX | s) 


连续 信 源 炳 (微分 蚁 ): ICX) = 一 | pr)logpr Cr)de 


联合 炉 : H.(X,Y) = -| pxy (Ty)logpxy (Try drdy 


条 件 炉 : H.(Y | X) =- 上 用 px(z)pyly | x)logpy(y | z)dzdy 


限 峰 功率 最 大 入 定理 : 对 于 定义 域 为 有 限 的 随机 矢量 X, 当 它 是 均匀 分 布 时 ,具有 最 
大 精 。 

限 平均 功率 最 大 粹 定理 : 对 于 相关 矩阵 一 定 的 随机 矢量 汪 , 当 它 是 正 态 分 布 时 ,具有 最 
大 精 。 


信息 效率 ; 7 二 =>) 


五 。(X) 


en 1 1 HX) 
元 余 度 7Y: 7 一 1 一 7 一 1 HX) 
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2-1 一 阶 马 尔 可 夫 链 信 源 有 3 个 符号 {wu ,ws ,us} ,转移 概率 为 : pC lwu) 二 1/2,p(us| 
wu)=1/2,p(uslu)=0,plulu)=1/3,p(u|u)=0,puslu)=2/3,p(u lu)=1/3, 
pluz|uz) 二 2/3,p(us|us) 二 0。 夯 出 状态 图 并 求 出 各 符号 稳 态 概 率 。 

2-2 由 符号 集 {0,1} 组 成 的 二 阶 马 尔 可 夫 链 ,转移 概率 为 : p(0100) 二 0. 8,p(0111) 二 
0.2,p(1100)=0.2,p(1|11)=0. 8,p(0101)=0. 5,p(0|10)=0.5,p(1101)=0.5,p(1110)= 
0.5。 面 出 状态 图 ,并 计算 各 状态 的 稳 态 概 率 。 

2-3 ”同时 毛 两 个 正常 的 骨 子 ,也 就 是 各 面 呈 现 的 概率 都 是 1/6, 求 : 

(1) “3 和 5 同时 出 现 ” 事 件 的 自信 息 量 。 

(2)“ 两 个 1 同时 出 现 ” 事 件 的 自信 息 量 。 

(3) 两 个 点 数 的 各 种 组 合 (无 序 对 ) 的 入 或 平均 信息 量 。 

(4) 两 个 点 数 之 和 ( 即 2,3,… ,12 构成 的 子 集 ) 的 焙 。 

(5) 两 个 点 数 中 至 少 有 一 个 是 1 的 自信 息 。 

2-4 设 在 一 个 布袋 中 装 有 100 个 对 人 和 手 的 感觉 完全 相同 的 木 球 ,每 个 球 上 涂 有 一 种 颜 
色 。100 个 球 的 颜色 有 下 列 三 种 情况 : 

(1) 红色 球 和 白色 球 各 50 个 ; 

(2) 红色 球 99 个 ,白色 球 1 个 

(3) 红 、 黄 、 蓝 、 白 色 球 各 25 个。 

分 别 求 出 从 布袋 中 随意 取出 一 个 球 时 ,猜测 其 颜色 所 需要 的 信息 量 。 

2-5 居住 某 地 区 的 女孩 中 有 25% 是 大 学 生 , 在 女 大 学 生 中 有 75% 是 身高 一 米 六 以 上 
的 ,而 女孩 中 身高 一 米 六 以 上 的 占 总 数 一 半 。 假 如 得 知 “ 身 高 一 米 六 以 上 的 某 女 孩 是 大 学 
生 ” 的 消息 , 问 获得 多 少 信息 量 ? 

2-6” 撕 两 粒 角 子 , 当 其 向 上 的 面 的 小 圆 点 数 之 和 是 3 时 ,该 消息 所 包含 的 信息 量 是 多 
少 ? 当 小 圆 点 数 之 和 是 7 时 ,该 消息 所 包含 的 信息 量 又 是 多 少 ? 

2-7 设 有 一 个 离散 无 记忆 信 源 ,其 概率 空间 为 


Ep 0 zs=1 z=2 zx ] 
P|] | 3/8 1/4 1/4 1/8 


(1) 求 每 个 符号 的 自信 息 量 ; 

(2) 若 信 源 发 出 一 个 消息 符号 序列 为 (202 120 130 213 001 203 210 110 321 010 021 
032 011 223 210) , 求 该 消息 序列 的 自信 息 量 及 平均 每 个 符号 携带 的 信息 量 。 

2-8 试问 四 进 制 .八进制 脉冲 所 含 的 信息 量 是 二 进 制 脉冲 的 多 少 倍 ? 

2-9 国际 莫 尔 斯 电码 用 点 和 划 的 序列 发 送 英文 字母 , 划 用 持续 3 个 单位 的 电流 脉冲 表 
示 ,点 用 持续 1 个 单位 的 电流 脉冲 表示 。 划 出 现 的 概率 是 点 出 现 概率 的 1/3。 

(1) 计算 点 和 划 的 信息 量 ; 

(2) 计算 点 和 划 的 平均 信息 量 。 
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2-10 在 一 个 袋 中 放 有 5 个 黑 球 .10 个 白 球 ,以 摸 一 个 球 为 一 次 实验 , 摸 出 的 球 不 再 放 
进去 。 求 : 

(1) 一 次 实验 包含 的 不 确定 度 ; 

(2) 第 一 次 实验 X 摸 出 的 是 黑 球 ,第 二 次 实验 Y 给 出 的 不 确定 度 ; 

(3) 第 一 次 实验 X 摸 出 的 是 白 球 ,第 二 次 实验 Y 给 出 的 不 确定 度 ; 

(4) 第 二 次 实验 Y 包含 的 不 确定 度 。 

2-11 有 一 个 可 旋转 的 圆 盘 ,盘面 上 被 均匀 地 分 成 38 份 ,用 1,2,…,38 数字 标示 ,其 中 
有 2 份 涂 绿色 ,18 份 涂 红色 ,18 份 涂 黑色 , 圆 盘 停 转 后 ,盘面 上 指针 指向 某 一 数字 和 颜色 。 

(1) 若 仅 对 颜色 感 兴趣 ,计算 平均 不 确定 度 ; 

(2) 若 仅 对 颜色 和 数字 感 兴 趣 ,计算 平均 不 确定 度 ; 

(3) 如 果 颜 色 已 知 时 ,计算 条 件 炉 。 

2-12 ” 设 两 个 试验 X 和 了 了 ,X= {ziyzayzs),Y 一 {yivyayys} ,联合 概率 (zi,yj) 二 ry 已 


7/24 1/24 0 
1/24 1/4 1/24 
ra rs ras 0 1/24 7/24 

(1) 如 果 有 人 告诉 你 X 和 Y 的 试验 结果 ,你 得 到 的 平均 信息 量 是 多 少 ? 

(2) 如 果 有 人 告诉 你 Y 的 试验 结果 ,你 得 到 的 平均 信息 量 是 多 少 ? 

(3) 在 已 知 Y 试验 结果 的 情况 下 ,告诉 你 X 的 试验 结果 ,你 得 到 的 平均 信息 量 是 多 少 ? 

2-13 ”有 两 个 二 元 随机 变量 X 和 YY, 它 们 的 联合 概率 如 右 所 示 , 并 定义 另 一 随机 变量 Z 
三 XY( 一 般 乘积 )。 试 计算 : 

(1) H(X).H(Y).H(Z).H(X,Z).H(Y,Z) 和 H(X, 


rn nm ns 


ra Ta fs |= 


2 
(2) HCXIYY.H(YIX).H(XIZ).H(ZIX).H(Y|IZ)、 y y 
H(ZIY) .HC(XIY,Z).H(YIX,2Z) 和 H(ZIX,Y). 3/8 
(9) TOXSY) TRIZ) TYIZ) TX YZ) ICYSZIX) 1 1/8 
和 IT(X;ZI|Y). 


2-14 ”在 一 个 二 进 制 信道 中 , 信 源 消息 XE{0.1), 且 p(1)==p(0) , 信 宿 的 消息 YE {0,1})， 
信道 传输 概率 p(y=11z=0)=1/4,p(y==0|zx==1) 二 1|8。 求 : 

(1) 在 接收 端 收 到 y=0 后 ,所 提供 的 关于 传输 消息 zx 的 平均 条 件 互 信息 量 I(X;y==0)。 

(2) 该 情况 所 能 提供 的 平均 互信 息 量 I(X;Y)。 

2-15 已 知 信 源 发 出 c 和 as 两 种 消息 , 且 p(a1) 二 p(as) 二 1/2。 此 消息 在 二 进 制 对 称 
信道 上 传输 ,信道 传输 特性 为 pC(51a1)= 二 pCb;1as)= 二 1 一 e,p(b11as) 二 p(b,|al) 二 e。 求 互信 
息 量 Ta Bb) 和 IT(ai; b,)。 

2-16 ”黑白 传真 机 的 消息 元 只 有 黑色 和 白色 两 种 , 即 X=={ 黑 , 白 }) ,一 般 气象 图 上 ,黑色 
的 出 现 概率 P( 黑 ) 二 0.3, 白 色 的 出 现 概率 P( 白 ) 二 0.7。 

(1) 假设 黑白 消息 视 为 前 后 无 关 , 求 信 源 炉 HH(X) ,并 画 出 该 信 源 的 香农 线 图 。 

(2) 实际 上 各 个 元 素 之 间 有 关联 ,其 转移 概率 为 : P( 白 | 白 ) 二 0.9143,P( 黑 | 白 )= 
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0.0857,P( 白 | 黑 ) 二 0.2,P( 黑 | 黑 ) 二 0. 8, 求 这 个 一 阶 马 尔 可 夫 信 源 的 信 源 炉 , 并 画 出 该 信 
源 的 香农 线 图 。 

(3) 比较 两 种 信 源 炉 的 大 小 ,并 说 明 原因 。 

2-17 ”每 帧 电视 图 像 可 以 认为 是 由 3X105 个 像素 组 成 ,所 有 像素 均 是 独立 变化 , 且 每 
一 像素 又 取 128 个 不 同 的 亮度 电 平 ,并 设 亮度 电 平 等 概率 出 现 。 问 每 帧 图 像 含 有 多 少 信息 
量 ? 若 现 有 一 位 广播 员 在 约 10000 个 汉字 的 字汇 中 选 1000 个 字 来 口述 此 电视 图 像 ,试问 广 
播 员 描述 此 图 像 所 广播 的 信息 量 是 多 少 ( 假 设 汉 字 字 汇 是 等 概率 分 布 , 并 彼此 无 依赖 )? 车 
要 恰当 地 描述 此 图 像 ,广播 员 在 口述 中 至 少 需 用 多 少 汉 字 ? 

2-18 XX 是 一 离散 随机 变量 ,f 是 定义 在 XX 上 的 实 函 数 ,证 明 有 H(X) 宇 HL[A(X)] 成 立 ， 
当 且 仅 当 是 集合 {zx: p(X=xz) 记 0} 上 一 对 一 的 函数 时 取 等 号 。 

2-19 一 个 随机 变量 zx 的 概率 密度 函数 p(x) 二 kz,0 达 x 过 2V, 试 求 该 信 源 的 相对 炳 。 

2-20 给 定语 音信 号 样 值 X 的 概率 密度 为 p(x) = 地 Xe ,一 co<z<co, 求 H.(X)， 


并 证 明 它 小 于 同样 方差 的 正 态 变量 的 连续 炉 。 

2-21 (1) 随机 变量 X 表示 信号 zx (74) 的 幅度 ,一 3V 志 x(1) 三 3V ,均匀 分 布 , 求 信 源 炉 
(> 

(2) 若 X 在 一 5 一 5V 之 间 均 匀 分 布 , 求 信 源 灶 HCX)。 

(3) 试 解释 (1) 和 (2) 的 计算 结果 。 

2-22 ”随机 信号 的 样 值 X 在 1 一 7V 之 间 均 匀 分 布 ， 

(1) 计算 信 源 粹 互 CX)。 将 此 结果 与 上 题 中 的 (1) 相 比较 ,可 得 到 什么 结论 ? 

(2) 计算 期 望 值 E(X) 和 方差 var(X) 。 

2-23 ”连续 随机 变量 X 和 YY 的 联合 概率 密度 为 


_ 本 1 1 [2 N 2 
plzx,y) 二 "| aN[* (+ 全 ] 2zy +y]) 
求 H.(X).H.(Y).H.(Y|X) 和 I(X;Y)。 
2-24 连续 随机 变量 X 和 YY 的 联合 概率 密度 为 
—s, z+y rr 


0 其 他 

求 HXINHECYYI HX 和 EY 

2-25 ” 某 一 无 记忆 信和 源 的 符号 集 为 {0,1) ,已 知 po 二 1/4,p1 二 3/4。 

(1) 求 符号 的 平均 炉 。 

(2) 由 100 个 符号 构成 的 序列 , 求 某 一 特定 序列 (例如 有 汉 个 0 和 (100 一 个 1) 的 自 
信息 量 的 表达 式 。 

(3) 计算 (2) 中 的 序列 的 灶 。 

2-26 ”一 个 信 源 发 出 二 重 符号 序列 消息 (Xi ,X,) ,其 中 第 一 个 符号 Xi 可 以 是 A,B,C 
中 的 任 一 个 ,第 二 个 符号 X; 可 以 是 D,E,F,G 中 的 任 一 个 。 已 知 各 个 p(x1;) 和 p(xzzj|zx1;) 
值 如 下 表 所 示 。 求 这 个 信 源 的 炉 ( 联 合 粮 HCX1 ,XX ))。 
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A B C 
plx1i) 

1/2 1/3 1/6 
D 1/4 3/10 1/6 
E 1/4 1/5 1/2 

plxzj |x11) 

F 1/4 1/5 1/6 
G 1/4 3/10 1/6 


2-27 Xi 、X: 、X: 是 独立 的 随机 变量 ,Xi 、Xi 十 X: 、X 十 Xs 十 Xs 是 一 马尔 可 夫 链 ,证 
明 T(Xis 十 十 XOSTCES Xi Xa), 

2-28 X.Z 是 具有 连续 密度 函数 的 独立 随机 变量 , 令 Y 一 X 十 Z, 如 果 HH.(Y) 和 H.(2) 
存在 ,证 明 I(X; 了 ) 二 H.(Y) 一 H.(Z)。 且 当 X.Z 是 随机 矢量 时 仍然 成 立 。 


, | | 3 
i 
1/2 1/4 1/4 
2 2/3 0 1/3 
3 2/3 1/3 0 


2-29 有 一 个 一 阶 平稳 马尔 可 夫 链 Xi ,X,,…,X,,… ,各 X, 取 值 于 集 A 二 {ai,as,as}。 
已 知 起 始 概率 P(X,) 为 : pi 二 1/2,ps 二 ps 二 1/4, 转 移 概 率 为 : 

(1) 求 (Xi1,X, ,Xs) 的 联合 灶 和 平均 符号 灶 。 

(2) 求 这 个 链 的 极限 平均 符号 炉 。 

(3) 求 日 ,、Hi、H; 和 它们 所 对 应 的 元 余 度 。 

2-30 ”有 一 个 马尔 可 夫 信 源 , 已 知 转移 概率 为 p51s)==2/3,pCsz15)==1/3,p(s1ss)== 
1,p(sz1s) 二 0。 试 画 出 状态 转移 图 ,并 求 出 信 源 和 。 

2-31 设 有 一 信 源 , 它 在 开始 时 以 p(a) 二 0.6,p(5) 二 0.3,p(c) 二 0.1 的 概率 发 出 Xi。 
如 果 Xi 为 a, 则 Xs 为 abc 的 概率 为 1/3; 如 果 Xi 为 5, 则 XX 为 ac 的 概率 为 1/3; 如 
果 Xi 为 c, 则 X。 为 ao 的 概率 为 1/2, 而 为 c 的 概率 是 0, 而 且 后 面 发 出 X; 的 概率 只 与 
Xi-i 有关。 又 p(Xi|Xi_1) 二 p(Xz1X1),i 宇 3。 试 利用 马尔 可 
夫 信 源 的 图 示 法 画 出 状态 转移 图 ,并 求 出 转移 概率 矩阵 和 信 
源 焙 互 - 。 

2-32 一 阶 马尔 可 夫 信 源 的 状态 图 如 图 2-13 所 示 , 信 源 
X 的 符号 集 为 {0,1,2}。 

(1) 求 信 源 平稳 后 的 概率 分 布 p(0)、p(1) 和 p(2)。 

(2) 求 此 信 源 的 业 。 

(3) 近似 认为 此 信 源 为 无 记忆 时 ,符号 的 概率 分 布 等 于 平 
稳 分 布 。 求 近似 信 源 的 炉 了 H(X) 并 与 五 ~- 进行 比较 。 

(4) 对 一 阶 马尔 可 夫 信 源 p 取 何 值 时 态 , 取 最 大 值 .又 当 
p 二 0 或 p 二 1 时 结果 如 何 ? 图 2-13 习题 2-32 图 
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2-33 一 阶 马尔 可 夫 信 源 的 状态 图 如 图 2-14 所 示 , 信 源 X 符号 集 为 {0,1,2)}。 
(1) 求 平稳 后 的 信 源 的 概率 分 布 ; 

(2) 求 信 源 炉 H.; 

(3) 求 当 p= 二 0 或 p= 二 1 时 信 源 的 炉 ,并 说 明 其 理由 。 


lp lp 


2-14 习题 2-33 


信道 与 信道 容量 人 


信道 是 通信 系统 中 的 重要 部 分 , 它 是 传输 信息 的 载体 ,其 任务 是 以 信号 方式 传输 信息 、 
存储 信息 。 因 而 研究 信道 就 是 研究 信道 中 理论 上 能 够 传输 或 存储 的 最 大 信息 量 , 即 信道 的 
容量 问题 。 
本 章 首先 讨论 信道 的 分 类 及 表示 信道 的 参数 ,然后 讨论 各 种 信道 的 容量 及 其 计算 方法 。 
人 个 输入 端 和 一 个 输出 端的 信道 , 即 单 用 户 信道 ,其 中 以 无 记忆 、 无 反馈 、 固 
定 参数 的 离散 信道 为 重点 , 它 是 进一步 研究 其 他 各 种 类 型 信道 的 基础 。 


3.1 信道 的 基本 概念 


研究 信道 容量 主要 考虑 信道 中 干扰 的 影响 ,由 于 信道 中 存在 的 干扰 使 输出 信号 eh 
信号 之 间 没 有 固定 的 函数 关系 ， 只 有 统计 依赖 的 关系 。 因此 可 以 通过 研究 分 析 输 入 信号 和 
输出 信号 的 统计 特性 来 研究 信道 


3.1.1 信道 的 分 类 


实际 的 通信 系统 中 ,信道 的 种 类 很 多 ,所 包含 的 设备 也 各 不 相同 ,因而 可 以 从 不 同 的 角 
度 进行 分 类 。 

根据 用 户 数量 可 分 为 单 用 户 信道 和 多 用 户 信 道 。 单 用 户 信道 是 指 只 有 一 个 输入 端 和 一 
个 输出 端 ,信息 只 朝 着 一 个 方向 ( 单 向 ) 传 输 ; 多 用 户 信道 是 指 输入 端 和 输出 端 中 至 少 有 一 
端 存在 两 个 以 上 用 户 ,信息 在 两 个 方向 上 (双向 ) 都 能 传输 。 

根据 信道 输入 端 和 输出 端的 关系 可 分 为 无 反馈 信道 和 反馈 信道 。 无 反馈 就 是 输出 端的 
信和 号 不 反馈 到 输入 端 , 即 输出 信号 对 输入 信号 没有 影响 ; 反之 ,输出 信号 通过 一 定 途径 反馈 
到 输入 端 ,致使 输入 端的 信号 发 生变 化 的 信道 就 是 反馈 信道 。 

根据 信道 参数 与 时 间 的 关系 可 分 为 固定 参数 信道 和 时 变 参 数 信道 。 固 定 参 数 信道 的 信 
道 参数 (统计 特性 ) 不 随时 间 变 化 而 变化 ,如 光纤 .电缆 信道 ; 若 信道 参数 随时 间 变 化 而 变 
化 , 则 称 为 时 变 参 数 信道 ,如 无 线 信道 的 参数 会 因 天 气 .周围 环境 的 变化 而 发 生 较 大 的 变化 。 


根据 信道 中 所 受 噪 声 种 类 不 同 可 分 为 随机 差错 信道 和 突 发 差错 信道 。 在 随机 差错 信道 
中 ,噪声 独立 随机 地 影响 每 个 传输 码 元 ,如 以 高 斯 白 噪 声 为 主体 的 信道 ; 另 一 类 噪声 .干扰 
的 影响 则 是 前 后 相关 的 ,错误 成 串 出 现 ,这 样 的 信道 称 为 突 发 差错 信道 ,如 实际 的 衰落 信道 、 
码 间 干扰 信道 ,这些 噪声 可 能 是 由 大 的 脉冲 干扰 或 闪电 等 引起 。 由 于 这 两 类 噪声 导致 的 差 
错 特性 不 同 , 因 而 需要 选择 不 同 的 纠 错 编码 方法 ,这 将 在 第 6 章 中 详细 讨论 。 

根据 输入 .输出 信号 的 特点 可 分 为 离散 信道 .连续 信道 . 半 离 散 半 连 续 信 道 、 波 形 信道 
等 。 离 散 信 道 的 输入 ,输出 信号 在 时 间 和 幅度 上 均 离散 ; 连续 信道 中 信号 的 幅度 是 连续 的 ， 
而 时 间 则 是 离散 的 ; 半 离 散 半 连续 信道 是 指 在 输入 和 输出 两 个 信号 中 有 一 个 是 离散 的 , 另 
一 个 是 连续 的 ; 波形 信道 是 指 输入 ,输出 信号 在 时 间 和 幅度 上 均 连 续 , 一 般 可 用 随机 过 程 {x 
(0)} 来 描述 。 由 2.1.2 节 已 知 ,只 要 随机 过 程 有 某 种 限制 (如 限 频 限 时 )， 就 可 分 解 成 (时 间 
或 频率 ) 离 散 的 随机 序列 ,随机 序列 可 以 是 幅度 上 离散 的 ,也 可 以 是 连续 的 。 因 此 波形 信道 
可 以 分 解 成 离散 信道 .连续 信道 和 半 离 散 半 连 续 信 道 来 研究 。 

近年 来 , 随 着 无 线 通信 的 快速 发 展 , 人 们 发 现在 发 送 端 和 接收 端 分 别 放置 多 副 天 线 的 系 
统 , 可 以 充分 利用 空间 资源 ,大 大 提高 通信 系统 的 性 能 。 这 是 一 类 较为 特殊 的 信道 , 称 为 多 
输入 多 输出 (MIMO) 信 和 道 ,其 分 析 研 究 方 法 有 所 不 同 。 

事实 上 ,信道 这 个 名 词 是 广义 的 ,可 以 指 简单 的 一 段 线路 ,也 可 以 指 包含 了 设备 的 复杂 
系统 。 即 使 在 同一 个 通信 系统 中 ,也 可 以 有 不 同 的 划分 ,如 图 1-1 的 通信 系统 物理 模型 中 就 
可 将 信道 编码 . 译 码 和 信道 看 成 一 个 广义 的 信道 ,甚至 可 将 加 密 、 解 密 和 信 源 编码 .解码 都 可 
看 成 信道 。 当 然 对 不 同 的 划分 ,信道 信号 就 呈现 出 不 同 的 特点 。 


3.1.2 信道 的 数学 模型 


设 信道 的 输入 矢量 为 入 = (Xi ,Xs，…, Xi，…) ,Xi;EA= 二 {qi,as，,…,an), 输 出 矢量 为 
Y==(Yi Yj) ,YEB 二 {01,6:,…,b,) ,通常 采用 条 件 概 率 p(Y|X) 来 描述 信道 输 
入 ,输出 信号 之 间 统 计 的 依赖 关系 。 在 分 析 信 和 道 问 题 时 ,该 条 件 概率 通常 称 为 转移 概率 。 根 
据 信道 是 否 存 在 干扰 以 及 有 无 记忆 ,可 将 信道 分 为 下 面 三 大 类 。 

1) 无 干扰 (无 噪声 ) 信 道 

信道 的 输出 信号 Y 与 输入 信号 XX 之 间 有 确定 的 关系 Y= 二 /(X) ,已 知 X 后 就 确 知 Y, 所 
以 转移 概率 为 


ly Y= RY 
plY | X) = 
0,. 于 关 OR 


2) 有 干扰 无 记忆 信道 

信道 的 输出 信号 Y 与 输入 信号 XX 之 间 没 有 确定 的 关系 ,但 转移 概率 满足 下 列 情况 : 
p(YIX)=plyi lz) p(yz|zxs)…p(yr|zL), 即 每 个 输出 信号 只 与 当前 输入 信和 号 之 间 有 转移 
概率 关系 ,而 与 其 他 非 该 时 刻 的 输入 信号 ,输出 信号 都 无 关 , 也 就 是 无 记忆 。 这 种 情况 使 问 
题 得 到 简化 ,不 需 采 用 矢量 形式 ,只 要 分 析 单 个 符号 的 转移 概率 p(y;|xz;) 即 可 。 

因此 ,为 了 便于 分 析 , 下 面 都 是 基于 上 述 第 二 种 情况 , 即 有 干扰 无 记忆 信道 。 由 输入 、 输 
出 信和 号 的 符号 数目 (等 于 2、 大 于 2 还 是 趋 于 =c=) ,又 可 进一步 区 分 出 如 下 一 些 信道 模型 。 
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(1) 二 进 制 离散 信道 
该 信道 模型 的 输入 和 输出 信号 的 符号 数 都 是 2, 即 XEA={0,1} 和 YEB 一 (0,1} ,转移 
概率 为 


pl(Y=0|X=1)=p(Y=1|X=0)=p 
| 《3-1=1) 
p 


plY=1|X=1)=p(Y=0|X=0)=1 

其 信道 模型 如 图 3-1 所 示 。 这 是 一 种 对 称 的 二 进 制 输入 、 二 进 制 输出 信道 ,所 以 称 为 二 进 制 
对 称 信道 (binary symmetric channel,BSC) 。 由 于 这 种 信道 的 输出 符号 仅 与 对 应 时 刻 的 一 
个 输入 符号 有 关 ,而 与 以 前 的 输入 无 关 , 所 以 这 种 信道 是 无 记忆 的 。BSC 信道 是 研究 二 元 
编 解 码 最 简单 ,也 是 最 常用 的 信道 模型 。 

(2) 离散 无 记忆 信道 

当 无 记忆 信道 的 输入 、 输 出 符号 数 大 于 2 但 为 有 限 值 时 , 称 为 离散 无 记忆 信道 (discrete 
memoryless channel, DMC) ,其 示意 如 图 3-2 所 示 。 信 和 道 的 输入 是 n 元 符号 , 即 输 入 符号 集 由 
7 个 元 素 XE {a saz，… sas) 构成 ,而 信道 的 输出 是 x 元 符号 , 即 信道 输出 符号 集 由 m 个 元 素 
YE {bb ，… ,bn 构成 ,为 了 表示 该 nm 个 转移 概率 ,采用 转移 概率 矩阵 P==[p(b;1ai)] 二 [pi;] 
表示 , 即 


pu pi Pim 
项 三 Ou Ds 四 (3-1-2) 
pu pn Pm 
ed bi 
0 a 0 a 已 
输入 上 p 输出 C2 by 
p : 
! 1-P 人 b, 
图 3-1 二 进 制 对 称 信道 (BSC) 图 3-2 ”离散 无 记忆 信道 (DMC) 
显然 ,输入 a; 时 各 可 能 输出 值 5; 的 概率 之 和 必定 等 于 1, 即 
Dpls; 1a) =1, i=1,2,.…,n C1 
j=1 


所 以 转移 概率 矩阵 中 各 行 元 素 之 和 为 1。 因 为 BSC 信道 是 DMC 信道 的 特例 , 故 BSC 信道 
的 转移 概率 矩阵 可 表示 为 


1 一 
?=| ”| (3-1-4) 


让， .也 一 志 
(3) 离散 输入 .连续 输出 信道 
假设 信道 输入 符号 选 自 一 个 有 限 的 、 离 散 的 输入 符号 集 XE {al ,az ,… av} ,而 信道 输 
出 未 经 量化 (mc=) ,这 时 的 信道 输出 可 以 是 实 轴 上 的 任意 值 , 即 YE1{ 一 ce,co}。 定 义 这 
样 的 信道 模型 叫 离散 时 间 无 记忆 信道 , 它 的 特性 由 离散 输入 XX、 连续 输出 了 ,以 及 一 组 条 件 
概率 密度 函数 py(y|X=a;) ,i 二 1,2,…,n 来 决定 。 这 类 信道 中 最 重要 的 一 种 是 加 性 高 斯 
白 噪声 (AWGN) 信 和 道 ,对 它 而 言 
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Y=X+G (3-1-5) 
式 中 G 是 一 个 零 均 值 . 方 差 为 o 的 高 斯 随机 变量 。 当 X==a; 给 定 后 ,Y 是 一 个 均值 为 a;、 方 
差 为 @ 的 高 斯 随机 变量 ， 


1 —(y-as)’ /20° 
pr(y1a) = 一 一 e (3-1-6) 
V2ra 


(4) 波形 信道 

当 信道 输入 和 输出 都 是 随机 过 程 {z(2} 和 {>y(2)} 时 ,该 信道 称 为 波形 信道 。 在 实际 模 
拟 通信 系统 中 ,信道 都 是 波形 信道 。 在 通信 系统 模型 中 ,把 来 自 各 部 分 的 噪声 都 集中 在 一 
起 ,认为 都 是 通过 信道 加 入 的 。 

因为 实际 波形 信道 的 频 宽 总 是 受 限 的 ,所 以 在 有 限 观察 时 间 ts 内 ,能 满足 限 频 /,、 限 
时 ts 的 条 件 。 由 2.1.2 节 , 可 把 波形 信道 的 输入 {z(0D)} 和 输出 {y(0)) 的 平稳 随机 过 程 信号 
离散 化 成 工 个 (L=2fts) 时 间 离 散 、 取 值 连续 的 平稳 随机 序列 == (Xi ,X。,…, XL) 和 Y= 
(Y1,Y,，… ,YL)。 这 样 波形 信道 就 转化 成 多 维 连续 信道 ,信道 转移 概率 密度 函数 为 

py(y | x) = py (yiryer sy | Ti T2 TL) (3-1-7) 

且 满 足 


| pen | zzz，…zr)dyidy…dy = 1 
其 中 R 为 实数 域 。 若 多 维 连 续 信道 的 转移 概率 密度 函数 满足 


和 
pr(y 1 x) = pycy | zx) (3-1-8) 
1 


则 称 此 信道 为 连续 无 记忆 信道 。 即 在 任 一 时 刻 输出 变量 只 与 对 应 时 刻 的 输入 变量 有 关 , 与 
以 前 时 刻 的 输入 、 输 出 都 无 关 。 
一 般 情况 下 , 式 (3-1-8) 不 能 满足 ,也 就 是 连续 信道 任 一 时 刻 的 输出 变量 与 以 前 时 刻 的 
输入 、 输 出 都 有 关 , 则 称 为 连续 有 记忆 信道 。 
根据 噪声 对 信道 中 信号 的 作用 不 同 可 将 噪声 分 为 两 类 : 加 性 和 乘 性 , 即 噪声 与 输入 信 
号 是 相 加 或 相 乘 。 分 析 较 多 、 较 方便 的 是 加 性 噪声 信道 。 单 符号 信道 可 表示 为 
y(1) = zx0) 十 2Ct) (3-1-9) 
其 中 nC) 是 加 性 噪声 过 程 的 一 个 样本 函数 。 在 这 种 信道 中 ,噪声 与 信号 通常 相互 独立 ,所 以 
Pxy (Ty) = pxn (Xn) = px (rx)pan) 
Pxy (Try) _ pxn (Xn) 
px (zx) px (zx) 
即 信道 的 转移 概率 密度 函数 等 于 噪声 的 概率 密度 函数 。 进 一 步 考虑 条 件 


Ha(Y' | X) =—||pxs cr)logpr(y | z)dzdy 
R 


则 py(y|zx) pa(n) (3-1-10) 


=—| codz| ore | xz)logpy(y | z)dy 
=—| px Cdr| ps logp, dn 


-| pa nlogp, (rn) dn 
R 
=H.(n) ‘9-1-1 
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该 结论 说 明了 条 件 炉 互 。(Y1X) 是 由 于 噪声 引起 的 , 它 等 于 噪声 信 源 的 焙 五.(>z) ,所 以 称 条 
件 入 为 噪声 精 (2. 2 节 中 曾 定义 ) 。 

在 加 性 多 维 连续 信道 中 ,输入 矢量 x、 输 出 矢量 y 和 噪声 矢量 n 之 间 的 关系 是 y 二 x 十 n。 
同 理 可 得 

prly |x) = pn), HY | X) = H.Cn) (3-1-12) 

以 后 主要 讨论 加 性 信道 ,噪声 源 则 主要 是 高 斯 白 噪声 。 

3) 有 干扰 有 记忆 信道 

一 般 情况 都 是 如 此 ,如 实际 的 数字 信道 中 , 当 信 道 特性 不 理想 ,存在 码 间 干 扰 时 ,输出 信 
号 不 但 与 当前 的 输入 信号 有 关 , 还 与 以 前 的 输入 信号 有 关 。 这 种 情况 处 理 较 困难 ,常用 的 方 
法 有 两 种 。 一 是 将 记忆 很 强 的 工 个 符号 当 矢量 符号 ,各 矢量 符号 之 间 认 为 无 记忆 ,但 此 时 
会 引入 误差 ,L 越 大 ,误差 越 小 ; 二 是 将 转移 概率 p(Y/X) 看 成 马尔 可 夫 链 的 形式 ,记忆 有 
限 , 信 道 的 统计 特性 可 用 在 已 知 现时 刻 输入 信号 和 前 时 刻 信道 所 处 的 状态 的 条 件 下 ,如 
plyaosa/za，s4-1) ,这 种 处 理 方法 很 复杂 ,通常 取 一 阶 时 稍 简单 。 

在 分 析 问 题 时 选用 以 上 的 何 种 信道 模型 完全 取决 于 分 析 者 的 目的 。 如 果 感 兴趣 的 是 设 
计 和 分 析 离 散 信道 编 ,解码 器 的 性 能 ,从 工程 角度 出 发 ,最 常用 的 是 DMC 信道 模型 或 其 简 
化 形式 BSC 信道 模型 ; 若 分 析 性 能 的 理论 极限 , 则 多 选用 离散 输入 .连续 输出 信道 模型 。 
如 果 是 想 设 计 和 分 析 数 字 调 制 器 和 解 调 器 的 性 能 , 则 可 采用 波形 信道 模型 。 本 书 的 后 面 主 
要 讨论 编 .解码 ,因此 DMC 信道 模型 使 用 最 多 。 


3.1.3 信道 容量 的 定义 


将 信道 中 平均 每 个 符号 所 能 传送 的 信息 量 定义 为 信道 的 信息 传输 率 尺 , 即 
R= I(X;Y) = H(X) 一 H(X |Y) bit/ 符号 

车 已 知 平均 传输 一 个 符号 所 需 时 间 为 xs) , 则 信道 在 单位 时 间 内 平均 传输 的 信息 量 定 
义 为 信息 传输 速率 ,R,==TICX;Y)/ ,单位 为 bit/s。 

在 2. 3 节 中 曾 述 及 互信 息 I(X;Y) 是 输入 符号 分 布 概率 p(a;) 和 信道 转移 概率 p(b;1ai) 的 
函数 。 对 于 某 特定 信道 ,转移 概率 如 (bi 1ai) 已 经 确定 , 则 互信 息 就 是 关于 输入 符号 分 布 概率 
plai) 的 门 型 凸 函 数 ,也 就 是 可 以 找到 某 种 概率 分 布 p(a;) ,使 I(X;Y) 达 到 最 大 ,该 最 大 值 
就 是 信道 所 能 传送 的 最 大 信息 量 , 即 信道 容量 (channel capacity) 。 

C= ma (3-1-13) 

C 的 单位 是 信道 上 每 传送 一 个 符号 (每 使 用 一 次 信道 ) 所 能 携带 的 比特 数 , 即 bit/ 符 号 
(bits/symbol 或 bits/channel use) 。 当 然 以 上 TCX;Y) 值 的 最 大 化 是 在 下 列 限 制 条 件 下 进 
行 的 , 即 

pla) 宇 0 


aa 一 1 ‘4-1=-14} 

当 不 是 以 2 为 底 而 以 。 为 底 取 自然 对 数 时 ,信道 容量 的 单位 变 为 奈 特 /符号 (nats/ 

symbol) 。 如 果 已 知 符号 传送 周期 是 了 秒 ,也 可 以 * 秒 "为 单位 来 计算 信道 容量 ,此 时 C= 
C/T, 以 bit/s(bits/s) 或 奈 特 /s(nats/s) 为 信道 容量 单位 。 

对 于 固定 信道 参数 的 信道 ,信道 容量 是 个 定 值 , 但 在 传输 信息 时 信道 能 否 提供 其 最 大 传 


输 能 力 , 则 取决 于 输入 端的 概率 分 布 。 

而 对 于 时 变 信道 参数 的 信道 ,由 于 其 信道 参数 随时 间 变 化 ,不 能 用 固定 值 表示 ,其 信道 
容量 也 不 再 是 一 个 固定 的 量 ,而 是 一 个 随机 变量 。 此 时 用 另外 两 个 量 来 表征 信道 性 能 ,一 是 
平均 容量 ,也 称 遍历 容量 (ergodic capacity) , 它 是 对 随机 信道 容量 的 所 有 可 能 的 值 进行 平均 
的 结果 , 即 Cw 二 En(C) ,一 般 用 其 来 衡量 系统 整体 意义 上 的 信道 容量 性 能 ; 二 是 中 断 容量 
(outage capacity) , 当 信道 瞬时 容量 Cn 小 于 用 户 要 求 的 速率 时 ,信道 就 会 发 生 中 断 事件 ,这 
个 事件 的 概率 称 为 中 断 概率 Ps 。 显 然 , 对 于 某 个 信道 而 言 , 中 断 概率 的 大 小 取决 于 用 户 
要 求 的 速率 ,要 求 速率 越 大 ,中 断 概率 就 越 大 ,只 有 (1 一 Powsee ) 的 概率 能 够 满足 用 户 传输 要 
求 ,这 个 用 户 要 求 的 速率 就 定义 为 对 应 于 该 中 断 概率 Powsge 的 中 断 容量 Cowsge ; 即 p(Cis 一 


Counge ) = P outrge 。 


3.2 ”离散 单个 符号 信道 及 其 容量 


信道 的 输入 和 输出 均 以 单个 符号 的 形式 表示 ,或 者 以 序列 形式 表示 ,但 符号 之 间 不 相 
关 , 即 无 记忆 。 这 类 信道 分 析 起 来 较为 简单 。 

3.2.1 无 干扰 离散 信道 

设 信道 输入 为 XEA= {al,as，… ,a,) ,信道 输出 为 YEB 王 (0 ,0 ，…,pn}。 按 照 X 与 
Y 的 对 应 关系 可 分 为 下 列 几 种 。 这 些 信道 是 部 分 理想 化 的 ,所 以 实际 应 用 比较 少 。 

(1) X.Y 一 一 对 应 ,如 图 3-3(a) 所 示 , 若 2 一 六 , 即 为 无 噪 无 损 信道 , 则 条 件 概 率 和 矩阵 是 
一 个 单位 矩阵 ,HC(Y|X)= 二 0,1(X;Y) 二 H(X) 二 H(Y)。 此 时 当 输 入 符号 分 布 为 等 概率 时 ， 
信道 的 传输 能 力 可 达到 信道 容量 C=maxI(X;Y) 二 logn。 


区 邓 于 7 
疾 ， 站。 1 
2 1 1 
1 


1 1 
= 
(a) 无 噪 无 损 信道 〈b) 无 噪 有 损 信 道 。 (c) 有 噪 无 损 信道 
图 3-3 ”部 分 理想 化 的 无 干扰 离散 信道 


(2) 多 个 输入 变 成 一 个 输出 ,如 图 3-3(b) 所 示 , 此 时 二 m, 即 为 无 噪 有 损 (确定 ) 信 道 ， 
则 噪声 炉 互 (Y1X)==0, 但 疑义 度 (损失 的 信息 量 )H(XIY) 隆 0, 所 以 H(X) 宇 H(Y) ,信道 容 
量 C==maxI(X;Y)=maxH(Y). 

(3) 一 个 输入 对 应 多 个 输出 ,但 每 个 输入 对 应 的 输出 值 不 重合 ,如 图 3-3(c) 所 示 , 此 
时 nm, 即 为 有 品 无 损 信 道 , 正 是 由 于 信道 噪声 使 同一 个 输入 值 对 应 不 同 的 输出 值 , 则 疑 
义 度 及 (XY)==0, 品 声 炉 肪 (Y|X) 关 0, 所 以 有 H(X) 三 H(Y) ,信道 容量 C= 二 maxI(X;Y) = 
maxH(X), 
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以 上 结论 是 在 离散 情况 下 得 出 的 ,而 在 连续 时 ,由 于 翡 .(X) 是 相对 值 ,其 绝对 的 炉 值 无 
限 大 ,所 以 信道 容量 也 为 无 限 大 。 


3.2.2 对称 离散 无 记忆 信道 


在 对 称 离散 无 记忆 (DMC) 信 道中 ,最 简单 的 就 是 对 称 信道 。 如 果 转 移 概 率 和 矩阵 了 的 每 
一 行 都 是 第 一 行 的 置换 (包含 同样 元 素 ) , 称 该 矩阵 是 输入 对 称 的 ; 如 果 转 移 概率 矩阵 书 的 
每 一 列 都 是 第 一 列 的 置换 (包含 同样 元 素 ), 则 称 该 矩阵 是 输出 对 称 的 ; 如 果 输 入 输出 都 对 
称 , 则 称 该 DMC 为 对 称 的 DMC 信道 


ll11 
下 下 L123 6 
3 3 6 6 1 和 
例如 ， 让 下 证 证 和 6 3 了 都 是 对 称 的 。 
6 6 3 3 1 1 1 
攻 才 交 
由 于 对 称 信道 转移 概率 矩阵 中 每 行 的 元 素 都 相同 ， 所 以 二 Ab | ai)logp(b; | a;) 的 值 


与 i 无关 , 则 条 件 坑 
H(Y | X) = 一 >)p(o) Dplb; | ai)logpC | ai) 


一 一 Dp | ai)logp(b; | a;) 
7 


=H(Y |ai), i= 1,2,.°,n C32 
与 信道 输入 符号 的 概率 分 布 p(a;) 无 关 。 而 信道 容量 为 
本 =maxl(X;Y) a max[H(X) — H(X Li 
(ai (ai 


=max[H(Y) 一 再 (Y | X)] = maxH(Y)— H(Y | X) (3-2-2) 
plai) plai) 
如 果 信道 输入 符号 等 概 分 布 pCai) 二 1/n, 则 由 于 转移 概率 矩阵 的 列 对 称 ,所 以 
pb;) = Dpla)plb; | ai) = Dp | oj) (和 


与 了 无 关 , 即 信道 输出 符号 也 等 概 分 布 ; 反之 , 若 信 道 输出 符号 等 概 分 布 ,对 称 信道 的 输入 
符号 必定 也 是 等 概 分 布 的 。 因 此 要 使 式 (3-2-2) 中 五 (Y) 达 到 最 大 ,只 有 信道 输出 符号 等 概 
分 布 ,此 时 的 输入 符号 也 等 概 分 布 。 因 此 对 称 DMC 信道 的 容量 为 


= logm 一 H(Y | a;) = logm 十 Pplogps (3-2-4) 
式 中 ,m 为 信道 输出 符号 集中 符号 的 数目 ,p(b; |a; ) 简 写 为 ps。 
和 二 1 下 于 
例 3-1 信道 转移 概率 霜降 为 P= ， ,代入 式 (3-2-4 求 得 信道 容量 为 
6 6 3 这 
C= as HH( 计 "语言 嘻 ] 0.082bit/ 符号 


第 3 章 ”信道 与 信道 容量 
S 
日 € 
Le n—l ~ n—l 
i 3 
例 3-2 信道 转 移 概 率 矩 阵 为 P 二 |n 一 1 n 一 1 |, 该 信道 输入 符号 和 输出 
E E 
才 二 二 I 


符号 的 个 数 相同 ,都 为 n, 且 正确 的 传输 概率 为 1 一 ,错误 概率 e 被 对 称 地 均 分 给 一 1 个 输 
出 符号 ,此 信道 称 为 强 对 称 信道 或 均匀 信道 ,是 对 称 离散 信道 的 一 个 特例 。 其 容量 为 


C= logn al ,一 ,一 上 ) 


» tet 
w= 次 一 珊 


式 中 ,logn 即 为 输入 的 信息 厅 CX) ,而 实际 传送 的 信息 是 C, 甩 (1 一 ,三 ，…, ] 就 是 在 
信道 中 丢失 的 信息 ,是 由 信道 干扰 所 造成 的 信息 损失 。 

1.0 当 ? 王 2 时 , 即 为 BSC 信道,C 二 1 一 H(e)。C 随 e 
变化 的 曲线 如 图 3-4 所 示 。 从 图 中 可 注意 到 , 当 e=0 


0.8 
全 ， 时 ,错误 概率 为 0, 无 差错 ,信道 容量 达到 最 大 ,每 符号 
人 lbit ,输入 端的 信息 全 部 传输 至 输出 端 。 当 es= 1/2 时 ， 
Be 错误 概率 与 正确 概率 相同 ,从 输出 端 得 不 到 关于 输入 
0.2 


的 任何 信息 ,互信 息 为 0, 即 信道 容量 为 零 。 对 于 
1/2<e 坊 1 的 情况 ,可 在 BSC 的 输出 端 颠倒 0 和 1, 导 
致 信道 容量 以 s=1/2 点 为 中 心 对 称 。 

图 3-4 ”二进制 信道 的 信道 容量 下 面 介绍 一 类 特殊 的 对 称 DMC 信道 。 如 图 3-5 
所 示 ,X 是 信道 输入 ,Z 是 信道 干扰 ,Y 为 信道 输出 , 取 值 空间 均 为 同一 整数 集 ,X 一 2 一 Y 一 
{10,1，…… 开 一 1),Y 一 X 四 Z mod 天 。 该 信道 称 为 离散 无 记忆 模 K 加 性 噪声 信道 。 计 算 机 系 
统 和 数字 通信 系统 中 有 些 情况 下 可 用 该 模型 描述 。 由 信道 的 对 称 性 及 


0 02 04 06 08 1.0 
[3 


H(Y | X) =— Dp(x)ply | x)logply | z) z 
一 一 ppCz)p(z)logp(z) x 1 了 
=H(Z) 图 3-5 ”离散 无 记忆 加 性 模 
可 得 到 该 类 信道 的 容量 为 天 噪声 信道 
C= logk— HZ) (3-2-5) 


例 3-3 ”离散 无 记忆 模 KK 加 性 噪声 信道 Y= 二 XZ mod K,X 和 YY 均 取 值 于 {0,1,…， 
和 
= 一 , 求 该 信道 容量 。 有 -6 表示 ,可 明显 看 出 
K-1) | | js | 求 该 信道 容量 。 该 信道 可 用 图 3-6 表示 ,可 明显 看 
具有 对 称 DMC 信道 特征 ,信道 转移 概率 矩阵 为 
0 3 0 
0 0 1/3 1/3 1/3 0 


1/3 1/3 1/3 0 ~ 0 
利用 式 (3-2-4) 或 式 (3-2-5) 均 可 求 出 该 信道 的 容量 为 C=logK 一 log3。 
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在 实际 通信 系统 中 ,信号 往往 要 通过 几 个 环节 的 传输 ,或 多 步 的 处 理 , 这 些 传输 和 处 理 
都 可 看 成 是 信道 ,它们 串 接 而 成 一 个 串联 信道 ,如 图 3-7 所 示 。 由 2. 2.4 节 中 的 信息 不 增 性 
可 得 到 
H(X) 宇 I(X;Y) >I(X;2) > I(X;W)-… 
则 
C(1,2) = maxI(X;2Z), C(1,2,3) = maxI(X;W). 

可 以 直观 地 看 出 , 串 接 的 信道 越 多 ,其 信道 容量 可 能 会 越 小 , 当 串 接 信道 数 无 限 大 时 ,信道 容 
量 就 有 可 能 趋 于 零 。 

x 

0 

1 


"Dowx 


Kl Kl 信道 1 一 一 | 信道 2 | … | 信道 m 一 一 


图 3-6 对称 DMC 信道 图 3-7 串联 信道 


例 3-4 设 有 两 个 离散 BSC 信道 , 串 接 如 图 3-8 所 示 , 两 个 BSC 信道 的 转移 矩阵 为 


[一 E | 
i = B= 
€ l=é 
则 串联 信道 的 转移 矩阵 为 

Ws E | E | 人 ea 

卫 一 已 ,P: 一 一 本 
G l—e E = 211—(1—2e): 1+(1—2e)’ 

可 以 求 得 I(X;Y)==1 一 H(e),I(X;2Z)==1 一 H[1 一 (1 一 2e)?]。 图 3-9 是 串联 信道 的 互信 
息 ,m 为 串 接 的 个 数 ,m= 二 1 即 为 I(X;Y),m 二 2 即 为 I(X ;2)。 


1.0 
0.8 
0.6 
0.4 
xX l-e 了 1-se Z 
0 0 0.2 
兴 冯 
8 
1 1 0 0.5 1.0 
ie i-e E 
图 3-8 两 个 BSC 信道 串联 图 3-9 m 个 BSC 串联 信道 的 互信 息 


如 果 有 N 个 相同 的 BSC 信道 串联 ,其 转移 概率 和 矩阵 为 P 王 PY。 通过 正 交 变 换 可 以 把 
P, 分 解 成 


所 以 
1 0 
P= 玫 = 三 | | 
0 1 一 2e 
= 0 
0 (1 一 2e)x 
2 ce 
2[1=0Q—20)" 1 十 (1 一 2e)x 
于 是 ,串联 信道 的 容量 为 
oA) 
区 
， _ 2 V2 
只 要 e 关 0, 当 N 趋 于 无 穷 大 时 ,P = lim P? -| 上 信道 的 容量 为 lm Cy 一 1 一 
N= 1/2 1/2 N= 


H(1/2)=0。 
3.2.3 准 对 称 离散 无 记忆 信道 


如 果 转 移 概 率 和 矩阵 P 是 输入 对 称 而 输出 不 对 称 , 即 转移 概率 和 矩阵 了 的 每 一 行 都 包含 同 
样 的 元 素 而 各 列 的 元 素 可 以 不 同 , 则 称 该 信道 是 准 对称 DMC 信道 。 例 如 ,矩阵 
[13 1/3 1/6 1/6 To.7 0.1 0.2 
= 1/3 1/6 可 =|,， 0.1 .| 
都 是 准 对 称 的 DMC 信道 。 
由 于 转移 概率 矩阵 中 每 行 的 元 素 相同 ,所 以 有 式 (3-2-1) 成 立 。 但 每 列 的 元 素 不 相同 ， 
所 以 信道 的 输入 和 输出 分 布 概率 可 能 不 等 ,此 时 五 (Y) 的 最 大 值 可 能 小 于 Y 等 概 时 的 焙 , 因 
而 准 对 称 DMC 信道 的 容量 


CZlogm+ > pslogps (3-2-6) 
j=1 


因为 互信 息 是 输入 符号 概率 的 门 型 号 函数 ,根据 信道 容量 的 定义 式 (3-2-1), 可 引入 拉 
格 朗 日 乘 子 法 解 极 值 问 题 , 求 得 输入 符号 概率 和 最 大 互信 息 。 
0.5 0.3 人 2 
0.3 0.5 0.2 

解 : 由 己 可 看 出 信道 的 输入 符号 有 两 个 ,可 设 p(a1) 二 a,p(as) 二 1 一 a。 信 和 道 的 输出 符 
号 有 三 个 ,用 6b、b,、bs 表示 。 由 p(ai,b;) 二 plai)p(b;|ai) 得 联合 概率 的 矩阵 

0.5a 0.3a 0.2a 
Ws ay Ol=a) O21 | 


例 3-5 已 知 一 个 信道 的 信道 转移 矩阵 为 r=| | 来 该 信道 窑 量 。 


由 p(5) = 》)p(ai,0)) 得 
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pl(b) = 0.5c 十 0.3(1 一 a) = 0.3+0.2a 
plbz) = 0.3x 十 0.5(1 一 a) = 0.5— 0.2a 
pl(bs) = 0.2a+0.2(1—a) 一 0.2 
其 中 p(6;) 和 恒定 ,与 wu 的 分 布 无 关 。 
I(X;Y) =H(Y) — H(Y | X) 
=— Dp Onp oD) + Dpla) > | adlnplb; | ai) 


二 一 (0.3 十 0.2a)ln(0.3 十 0. 2a) 一 (0.5 一 0.2a)ln(0. 5 一 0.2a) 
一 0. 2ln0.2 十 0.2ln0.2 十 0.5ln0.5 十 0.3ln0.3 


9I(X;Y) 
qa 


解 得 a 二 1/2, 即 输入 符号 分 布 等 概率 时 ,I(X;Y) 达 到 极 大 值 。 所 以 信道 容量 为 
C= maxI(X;Y) 一 0.036bit/ 符号 

此 时 输出 符号 的 概率 为 p(61)==p(6b,) 二 0.4,p(bs) 二 0.2。 

事实 上 该 信道 是 二 元 对 称 删除 信道 , 当 p(al)= 二 p(as)= 二 1/2 时 ,可 达到 信道 容量 C= 
maxT(X;Y) ,因为 P(b;) 恒 定 为 0.2, 则 bbs 应 等 概 分 布 , 即 p(61) 二 p(b,) 二 (1 一 0.2)/2= 
Od 

也 可 以 这 样 来 求 准 对 称 信道 的 容量 ,将 转移 概率 矩阵 划分 成 若干 个 互 不 相交 的 对 称 的 
子 集 , 如 


TUs 1/3 1/6 1/6 1/3 1/6] [1/3] [1/6 
总 | 1/3 1/6 | 网 生生 区 bs od apd pd 


OF Ol 02 FF 2 0.1 
”=|0, 0.1 | 申 分 般 咸 bs sa 
可 以 证 明 , 当 输入 分 布 等 概 时 ,达到 信道 容量 为 


由 三 0 得 0. 2ln(0. 3 十 0. 2a) 一 0. 2 十 0. 2ln(0. 5 一 0. 2c) 十 0. 2 一 0 


C=logn— Hp ,psp’) 一 DD Nloa, (3-2-7) 
式 中 ,n 为 输入 符号 集 个 数 ; pi ,ps ，…p/ /是 转移 概率 矩阵 忆 中 一 行 的 元 素 , 即 HGpi ,ps ，… 
p= 二 HH(Y|ai); Ns 是 第 k 个 子 矩 阵 中 行 元 素 之 和 , Ne 二 >)p (Cb; | a1); M 是 第 k 个 子 矩 
阵 中 列 元 素 之 和 ,Ms 二 >)p(b; | wu); 是 互 不 相交 的 子 集 个 数 。 证 明 从 略 。 
例 3-6 ”用 矩阵 分 解 的 方法 求 例 3-5 中 信道 的 容量 。 
解 : 对 P=| Re 分 生得 | 26| -| |- 利 用 式 (3-2- 求 容量 ， 式 
| 43 0.5 0.2 


中 2 一 2, 六 一 0.5 十 0.3 一 0.8,Mi 一 0.5 十 0.3 王 0.8,N 一 0.2,M: 一 0.2 十 0.2 一 0.4,r 一 2, 所 以 
C= log:2 一 瓦 (0.5,0.3,0.2) 一 0.81log:0.8 一 0.21log:0.4 王 0.036bit/ 符号 


与 上 述 结果 一 致 。 
1 和 1 

例 3-7 用 从 阵 分 解 的 方法 求 P, 一 |[ A | 
1/6 1/3 1/6 1/3 


解 : 根据 上 面 对 P, 的 分 解 , 利 用 式 (3-2-7) 可 得 


容量 


C=logs2— H(1/3,1/3,1/6,1/6) 一 (1/3 十 1/6)log:(1/3 十 1/6) 
一 1/3log:(1/3 十 1/3) 一 1/61logs*(1/6 十 1/6) 
一 0. 041bit/ 符号 


3.2.4 一 般 离散 无 记忆 信道 


以 输入 符号 概率 矢量 P, 为 自 变量 求 函 数 TCP.) 极 大 值 即 信道 容量 的 问题 ,从 数学 上 看 
是 一 个 规划 问题 ,这 个 问题 已 经 解决 。 目 前 常用 的 方法 是 1972 年 由 Blahut 和 Arimoto 分 
别 独立 提出 的 一 种 算法 ,现在 称 为 Blahut-Arimoto 算法 。 一 般 地 说 ,为 使 I(X;Y) 最 大 化 以 
便 求 取 DMC 容量 ,输入 符号 概率 集 {p(ai)} 必 须 满 足 的 充分 和 必要 条 件 是 

I(ai;Y) 二 C 对 于 所 有 满足 pl(a;) 0 条件 的 i 


I(ai;Y) 之 C 对 于 所 有 满足 pla;) 二 0 条件 的 i 
上 式 说 明 , 当 信 和 道 平均 互信 息 达 到 信道 容量 时 ,输入 符号 概率 集 {p(ai)} 中 每 一 个 符号 ai 对 
输出 端 Y 提供 相同 的 互信 息 , 只 是 概率 为 零 的 符号 除外 。 
可 以 直观 地 来 理解 ,在 某 种 给 定 的 输入 符号 分 布下 ,车 其 中 有 一 个 输入 符号 x 二 a; 对 输 
出 Y 所 提供 的 平均 互信 息 T(a;;Y) 比 其 他 输入 符号 提供 的 大 ,那么 就 可 以 更 多 地 使 用 这 一 
符号 , 即 增 大 w 出 现 的 概率 p(xz==ai;), 使 得 加 权 平 均 后 的 I(X;Y) = 二 >》)p (ai)TCaisY) 增 
大 。 但 是 ,这 就 会 改变 输入 符号 的 分 布 , 而 使 该 符号 的 平均 互信 息 I(a;;Y) = 


Dp Lalog Paty 减 小 , 而 其 他 符号 对 应 的 互信 息 增 大 。 所 以 经 过 不 断 调整 输入 


符号 的 概率 分 布 ,最 终 将 使 每 个 概率 不 为 零 的 输入 符号 对 输出 Y 提供 的 平均 互信 息 是 相 
同 的 。 

该 结论 只 给 出 了 达到 信道 容量 C 时 输入 符号 概率 p (a,) 分 布 的 充 要 条 件 ,并 未 给 出 具 
体 值 ,所 以 C 没 有 具体 可 求 的 公式 。 一 般 情 况 下 ,最 佳 分 布 不 一 定 是 唯一 的 ,只 需 满足 结论 
式 (3-2-8) ,并 使 互信 息 最 大 即 可 。 

例 3-8 如 图 3-10 所 示 的 离散 信道 ,输入 符号 集 为 了 
{a yas vasyaiyas} ,输出 符号 集 为 (5, ,加 } 。 信 道 矩 阵 为 | 


(3-2-8) 


1 0 二 = 一 一 J 
0.5 

1 0 es 

-| 1 = 

2 ay )y 
1 

pe We 

9 2 3-10 例 3-8 的 离散 信道 

求 信道 容量 和 最 佳 输入 符号 分 布 概率 。 


解 : 由 于 输入 符号 as 传递 到 b, 和 5。 是 等 概率 的 ,所 以 as 可 以 省 去 , 即 p(as) 二 0。 
对 于 其 余 输入 符号 ,一 种 可 取 的 方法 是 让 其 概率 均匀 分 布 , 即 p(a1) 二 plas) 二 pl(as) 二 
plas)= 二 1/4, 可 计算 得 如 Co) 一 户 (0 ) 一 1/2, 按 公式 


tars = Bp, I Yog Pb Le (3-2-9) 


计算 得 
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I(asY) = I(as;Y) = I(as;Y) = I(as;Y) = log2 
I(as;sY) = 0 
显然 该 结果 满足 式 (3-2-8) 的 要 求 ,得 到 信道 容量 C= 二 log2 二 1bit/ 符 号 。 
另 一 种 可 取 的 方法 是 ,由 于 wa 和 as 均 以 概率 为 1 传递 到 六 ,因为 户 ( 方 |a ) 一 
plbj;1laz),j 二 1,2, 所 以 IT(a1;Y) 二 IT(as;Y)。 同 理 , 由 于 as 和 as 均 以 概率 为 1 传递 到 6b, 所 
以 I(as3Y)= 二 TCas ;Y)。 因 此 可 只 取 al 和 as, 即 输入 符号 的 概率 分 布 为 bp(ai ) 一 户 (as ) 一 
1/2,p(azs) 二 plas) 二 pl(a4) 二 0。 也 可 算出 
p(b1) = p(bs) = 1/2 
I(a;Y) T(azsY) I(as;Y) I(assY) log2 
I(as;Y)=0 

此 假设 分 布 也 满足 式 (3-2-8) 的 要 求 ,因此 信道 容量 同样 为 C 一 log2 王 1bit/ 符 号 

以 上 两 种 分 布 均 为 最 佳 分 布 ,当然 还 可 以 找到 该 信道 其 他 的 最 佳 输入 分 布 。 可 见 , 该 信 
道 的 最 佳 输入 分 布 不 是 唯一 的 。 按 照 式 (3-2-9) 可 知 ,互信 息 ITCai;Y) 仅 仅 与 信道 转移 概率 
及 输出 概率 分 布 有 关 , 因 而 达到 信道 容量 的 输入 概率 分 布 不 是 唯一 的 ,但 输出 概率 分 布 是 唯 
一 的 。 


3.3 离散 序列 信道 及 其 容量 


前 面 讨论 的 信道 输入 输出 均 为 单个 符号 的 随机 变量 ,然而 在 实际 应 用 中 ,信道 的 输入 和 
输出 却 是 在 空间 或 时 间 上 离散 的 随机 序列 ,有 无 记忆 的 离散 序列 信道 ,当然 更 多 的 是 有 记忆 
的 , 即 序列 的 转移 概率 之 间 有 关联 性 。 信 道 模型 如 图 3-11 所 示 。 


MYIX) 
区 了 
=~| 信道 i 
X= (X,Y, Ki) Y= (7,,),…, 7) 
VE{ anay an} WE {bi, ba, bmn} 


图 3-11 离散 序列 信道 
对 于 无 记忆 离散 序列 信道 ,其 信道 转移 概率 为 


L 
BY | = By | R= [sc Ey (3-3-1) 
1=1 
即 仅 与 当前 输入 有 关 。 若 信道 是 平稳 的 , 则 p(Y1X)==p' (Gy|zx)。 
根据 平均 互信 息 的 定义 
I(X;Y) =H(X') 一 H(X!: | Y’) = 忆 pCcmiog 2 
ee pOY | 
HO(Y')— HOY: | X:) = D) p(X,Y)log py 


可 以 证 明 ( 本 书 从 略 , 见 参考 文献 4) ,该 互信 息 有 两 个 性 质 ,一 是 如 果 信道 无 记忆 , 则 


$ 
L 
0) 2- (3-3=2) 
t=1 
二 是 如 果 输 入 矢量 X 中 的 各 个 分 量 相互 独 立 , 则 
EE 
i 2 (3-3-3) 


bl 
如 果 输 入 矢量 X 独立 且 信 和 道 无 记忆 , 则 上 述 两 个 性 质 达 到 统一 , 取 等 号 。 当 输入 矢量 达到 
最 佳 分 布 时 ， 
L 了 了 
Cr = maxT(X3Y) = max 2 TCXisY,) = maxT(Xi:Y,) = >)C(1D) (3-3-4) 


x l=1 1=1 Px 1=1 


当 信 道 平稳 时 Ci 二 LC 。 一 般 情 况 下 ,IT(X;Y) 志 LC 。 
最 典型 的 无 记忆 离散 序列 信道 就 是 扩展 信道 ,与 2. 1 节 中 所 述 工 次 扩展 信 源 相 类 似 ， 
如 果 对 离散 单 符 号 信道 进行 荆 次 扩展 ,就 形成 了 工 次 离散 无 记忆 序列 信道 。 信 道 输入 序列 
总 
为 XX 二 X! ,信道 输出 序列 为 Y==Y+ , 信道 的 序列 转移 概率 为 p(Y | X) = [|[ pCY, | X,)。 
例 3-9 对 图 3-11 的 BSC 信道 二 次 扩展 ,扩展 后 的 信道 如 图 3-12 所 示 ,XE {00,01,10,11})， 
YE100,01,10,11}), 二 次 扩展 无 记忆 信道 的 序列 转移 概率 p(00100) 二 p(010)p(010)= 
(1—p)? ,p01100)=p(010)p(110)=p(1—p),p(10100)=p(110)p(010)=p(1—p), 
p(11100) 二 p(110)p(110) 二 p*。 同 理 可 求 得 其 他 转移 概率 , 则 转移 概率 矩阵 为 
(1—p)*: pl(1l—p) pl(l—p) p’ 
力 (1 一 加 ) (1—p)’ 力 ? p(1—p) 
p(1—p) p’ (1—p): pl(1—p) 
p’ pl(1—p) pll—p) (1 一 力 )2 
由 此 可 看 出 这 是 一 个 对 称 DMC 信道 , 当 输入 序列 等 概 分 布 时 ,根据 式 (3-2-5) 信 道 容 
量 为 


C: = log:4 一 互 L[(1 一 加 )2, 轧 (1 一 力 ) , 轧 (1 一 旋 ) , 力 ] 
车 p==0.1, 则 Cs 二 2 一 0.938 二 1.062bit/ 序 列 。 
而 p= 二 0.1 时 的 BSC 单 符号 信道 的 容量 为 C1 二 1 一 有 H(0.1) 二 0.531bit/ 符 号 ,Cs 正好 是 
Ci 的 两 倍 。 


* PX) 
00 00 二 一 | 信道 1 一 一 一 
PO) ; 
ol ol 区 
一 =| 信道 2 上 全 
10 10 
P(YiIXL) 
i 六 
信道 志 
ul 11 9 
3-12 ”BSC 的 二 次 扩展 信道 3-13 ”独立 并 联 信道 


如 果 将 工 个 相互 独立 的 信道 进行 并 联 ,每 个 信道 的 输出 Y, 只 与 本 信道 的 输入 X, 有 
关 , 如 图 3-13 所 示 。 此 时 序列 的 转移 概率 户 Yi ,Ys，… ,YL | Xs Xe XL) 二 p (Yi Xi) 


65 


66 ”信息 论 与 编码 ( 第 3 版 ) 


L 
pC(Yz 1Xs)…p(YL Xi), 也 是 无 记忆 序列 信道 , 所 以 I(X;Y) 之 >)T(X,;Y,), 即 联合 平均 互 
信息 不 大 于 各 自信 道 平 均 互 信息 之 和 。 独 立 并 联 信道 的 容量 
E 
人 二 

只 有 当 输 入 符号 X, 相互 独立 ,上 且 p(X1 ,Xs,…,Xr) 达 到 最 佳 分 布 时 ,容量 最 大 ,为 各 自信 道 
容量 之 和 。 

有 记忆 的 离散 序列 信道 要 比 无 记忆 的 复杂 得 多 ,至 今 没有 有 效 的 求解 方法 。 在 特定 情 
况 下 ,例如 平稳 有 限 记忆 信道 可 引入 状态 的 概念 ,采用 状态 变量 来 分 析 。 本 书 不 作 介绍 。 


3.4 连续 信道 及 其 容量 


正如 2.4 节 所 述 连 续 信 源 情况 下 ,在 取 两 个 微分 炉 之 差 时 具有 与 离散 信 源 一 样 的 信息 
特征 。 互 信息 即 是 两 粹 之 差 , 互 信息 的 最 大 值 就 是 信道 容量 。 因 而 连续 信道 具有 与 离散 信 
道 类 似 的 信息 传输 率 和 信道 容量 表达 式 。 下 面 介绍 的 都 是 加 性 噪声 信道 。 


3.4.1 连续 单 符号 加 性 信道 
最 简单 最 常见 的 就 是 幅度 连续 的 单 符号 信道 ,如 图 3-14 所 示 。 信 和 道 的 输入 和 输出 都 是 


see oo yer) ， 取 值 连 续 的 一 维 随机 变量 ,加 入 信道 的 噪声 是 均值 为 零 . 方 
一 -| fi _ 差 为 的 加 性 高 斯 噪声 ,概率 密度 函数 记 作 p(x) 二 NC0， 


| 号)。 根 据 2. 4. 3 节 所 述 ,该 噪声 的 微分 精 为 及 .Cn) = 二 


图 3-14 连续 单 符号 信道 log2xeo’ 。 

单 符号 连续 信道 的 平均 互信 息 为 I(X;Y)==H.(X) 一 
H.(XIY)=H.(Y) 一 H.(Y|X)=H.(X) 十 H.(Y) 一 H.(X,Y) ,信息 传 输 率 为 R=I(X;Y) 
bit/ 符 号 。 信 道 容量 为 

= maxl(X;Y) = maxLH.(Y) —H.(Y | X)] 
plx) px 
据 式 (3-1-11) 
C= maxH.(Y)— H.(n) = maxH.(Y) = Loger (3-4-1) 
px) px) 2 


要 求 式 (3-4-1) 第 一 项 最 大 ,由 2.4. 3 节 限 平均 功率 最 大 粮 定 理 ,只 有 当 信 道 输出 Y 正 态 分 
布 时 炉 最 大 ,其 概率 密度 函数 py(y) 二 N(0,P), 其 中 了 为 Y 的 平均 功率 限制 值 。 由 于 信道 
输入 X 与 噪声 统计 独立 , 且 y= 二 x 十 n, 所 以 其 功率 可 以 相 加 ,P==S 十 ,5S 为 信道 输入 X 的 
平均 功率 值 。 

因为 py(y)= 二 NC(0,P),p,(n) 二 NCO0,@),y 二 x 十 n, 所 以 px (xz) 二 NC(0,S)。 即 当 信 道 
输入 X 是 均值 为 零 .方差 为 S 的 高 斯 分 布 随机 变量 时 ,信息 传输 率 达 到 最 大 值 


1 1 1 到 1 Ss 
i 有 全 
本 了 log2reP 2 log2reo2 3 log 六 2 log 人 十 元 ) (3-4-2) 


式 中 S/o 是 信号 功率 与 噪声 功率 之 比 , 常 称 作 信 噪 比 , 用 SNR 表示 , 则 C==1/2log (1 十 


SNR) 。 可 见 信 道 容量 仅 取决 于 信道 的 信 噪 比 。 

值得 注意 的 是 ,这 里 研究 的 信道 只 存在 加 性 噪声 ,而 对 输入 功率 没有 损耗 。 但 在 实际 通信 
系统 中 ,几乎 都 存在 大 小 不 等 的 功率 损耗 ,也 叫 信道 衰落 ,所 以 计算 时 输入 信号 的 功率 S 应 是 
经 过 损耗 后 的 功率 。 例 如 信道 损耗 为 |H(e*)|?( 或 |h(n)1’) ,输入 功率 为 S, 则 式 (3-4-2) 中 
的 信号 功率 应 为 SIH(e*)|?( 或 Slh(n)|?)。 

另外 ,在 很 多 实际 系统 中 噪声 并 不 是 高 斯 型 的 ,但 若是 加 性 的 ,可 以 求 出 信道 容量 的 上 
下 界 。 若 是 乘 性 噪声 , 则 很 难 分 析 。 对 于 加 性 均值 为 零 . 平 均 功 率 为 呈 的 非 高 斯 噪声 信道 ， 
其 信道 容量 有 下 列 上 下 界 ， 

blog(1 + aj<c< $log2reP H.(n) (3-4-3) 


式 中 及.() 是 噪声 粹 ,P 为 输出 信和 号 的 功率 P= 二 S 十 e。 这 里 不 作证 明 , 仅 说 明 物 理 意义 。 
首先 看 右边 ,第 一 项 0. 5log2reP 是 均值 为 零 、 方 差 为 P 的 高 斯 信和 号 的 炉 , 由 于 噪声 是非 
高 斯 的 ,如 果 输 入 信号 X 的 分 布 能 使 zx 十 zx 一 > 呈 高 斯 分 布 , 则 瓦 。(Y) 达 到 最 大 值 , 此 时 信道 
容量 达到 上 限 值 0. 5 log2xeP 一 有 H.(n), 而 一 般 情况 下 ,信道 容 量 必 小 于 该 上 限 值 ; 再 看 
式 (3-4-3) 的 左边 可 写成 0. 5log2xeP 一 0. 5log2reo ,第 二 项 0. 5log2xeo? 是 均值 为 零 , 方 差 
为 @ 的 高 斯 噪声 的 炉 ,此 为 平均 功率 受 限 喧 ed 虑 的 是 最 坏 情况 ,所 
以 是 信道 容量 的 下 限 值 。 

式 (3-4-3) 说 明 在 同样 平均 功率 受 限 情况 下 , 非 高 斯 噪声 信道 的 容量 要 大 于 高 斯 噪声 
信道 的 容量 ,所 以 在 处 理 实际 问题 时 ,通常 采用 计算 高 斯 噪声 信道 容量 的 方法 保守 地 估计 容 
量 , 且 高 斯 噪声 信道 容量 容易 计算 。 


3.4.2 多 维 无 记忆 加 性 连续 信道 


信道 输入 随机 序列 X= (Xi ,X: ,…, Xi) ,输出 随机 序列 了 二 (Yi ,Ys,… ,YL), 加 性 信道 
有 y= 二 x 十 n, 其 中 二 (m,ns，…,n1) 是 均值 为 零 的 高 斯 噪声 ,表示 各 单元 时 刻 1,2,…, 上 
的 噪声 ,如 图 3-15 所 示 。 


高 斯 噪声 
输入 序列 x 输出 序列 ? 
一 | dn ts 
入 人) 三 和 mnm) Y= h) 


人- =X1+tm 
We Fr=Xitnr 


3-15 多维 无 记忆 加 性 信道 等 价 于 工 个 独立 并 联 加 性 信道 
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由 于 信道 无 记忆 , 所 以 有 p(y |x) = Ho, 加 性 信道 中 噪声 随机 序列 的 各 时 刻 


分 量 是 统计 独立 的 , 即 p,(n) = py(y | x) 一 Hao, 各 分 量 都 是 均值 为 零 方 差 为 o 的 
高 斯 变量 。 所 以 多 维 无 记忆 高 斯 加 性 信道 就 可 等 价 成 工 个 独立 的 并 联 高 斯 加 性 信道 
由 式 (3-3-2) 可 得 
L 1 也 
下 项 天 ) 二 0. Bog (1 + 号 ) 


li=1 l=1 


则 C= maxI(X;Y) = 六 $los [1+ 十 学 全 JoiwL 维 自 由 度 (3-4-4) 
pe 


l=1 


式 中 ,o? 是 第 ! 个 单元 时 刻 高 斯 噪声 的 方差 ,均值 为 零 。 因 此 当 且 仅 当 输入 随机 矢量 X 中 
各 分 量 统 计 独 立 , 且 是 均值 为 零 . 方 差 为 P, 的 高 斯 变量 时 ,才能 达到 此 信道 容量 。 
式 (3-4-4) 既 是 多 维 无 记忆 高 斯 加 性 连续 信道 的 信道 容量 ,也 是 工 个 独立 并 联 高 斯 加 性 信 
道 的 信道 容量 。 下 面 作 一 讨论 。 

(1) 当 每 个 单元 时 刻 上 的 噪声 都 是 均值 为 零 ,方差 相同 为 到 的 高 斯 噪声 时 , 由 
式 (3-4-4) 得 


C= Glog (1 +2 太志 3 jbiwL 维 自 由 度 (3-4-5) 


当 且 仅 当 输入 矢量 X 的 各 分 量 统计 独立 ,均值 都 为 零 .方差 相同 为 S 的 高 斯 变量 时 ,信道 中 
传输 的 信息 率 可 达到 最 大 。 
(2) 当 各 单元 时 刻 工 个 高 斯 噪声 均值 为 零 ,但 方差 不 同 且 为 of 时 , 若 输 入 信号 的 总 平 
均 功 率 受 限 ,约束 条 件 为 
a > = 六 ELX] = Hp =P (3-4-6) 
则 此 时 各 单元 时 刻 的 信号 平均 功率 应 合理 分 配 ,才能 使 信道 容量 最 大 。 也 就 是 需要 在 
式 (3-4-6) 的 约束 条 件 下 , 求 式 (3-4-4) 中 已 的 分 布 。 这 是 一 个 标准 的 求 极 大 值 的 问题 , 采 
用 拉 格 朗 日 乘 子 法 来 计算 。 


了 L 
作 辅 助 丽 数 /(Pi,P,,…,PL) 二 》) Blog(1 + 开 ]+22P 
上 1 一 1 


和 
令 2LCP， 二 PO ,=1,2,.,L 
解 得 寺 万 十 地 十 4 一 0,l=1,2,°,L 
即 
已 十 一 一 南 ， =1,2.……L (3-4-7) 


上 式 表示 各 单元 时 刻 上 信号 平均 功率 与 噪声 功率 之 和 , 即 各 个 时 刻 的 信道 输出 功率 相等 , 设 
为 常数 y, 则 
卫 十 De: 


L 


y= 二 


4 第 3 章 ”信道 与 信道 容量 
则 各 单元 时 刻 输 入 信号 平均 功率 为 
LL 
P+ oa 
P,=y—o yy pS 2 看 扩 证 (3-4-8) 
L 
. P+D)e 


此 时 信道 容量 C = oer 

但 是 ,如 果 某 些 单元 时 刻 的 噪声 太 大 ,大 于 常数 y, 使 式 (3-4-8) 中 Pi 出 现 负 数值 ,说 
明 这 些 时 刻 的 信道 质量 太 差 ,无 法 使 用 ,必须 置 P, 二 0， 
不 分 配 功率 ,予以 关闭 。 然 后 重新 调整 信号 功率 分 配 ， 
直至 Pi 不 出 现 负 值 。 这 就 是 著名 的 “注水 法 ”原理 
(water-filling) ,示意 如 图 3-16 所 示 。 将 各 单元 时 刻 或 
并 联 信道 看 成 用 来 盛 水 的 容器 ,信号 功率 看 成 水 ,向 容 
器 中 倒 水 ,最 后 的 水 平面 是 平 的 ,每 个 子 信道 中 装 的 水 
量 就 是 分 配 的 信号 功率 。 这 时 信道 容量 为 


C= 去 忆 og(1+ 台 )， DPp'=P, Pi>0 
例 3-10 有 一 并 联 高 斯 加 性 信道 ,各 子 信道 噪声 方 图 3-16 ”注水 法 功率 分 配 


差 为 of=0.1,0 = 二 0.2,of 二 0. 3,0f 二 0. 4,08 二 0. 5,08 
0.6,0=0.7,02=0.8,03=0.9,0%,=1. 0。 


P+ 2 


(1) 车 输入 的 信号 总 功率 P= 二 5, 则 平均 输出 功率 "一 三 1.05, 因为 该 值 大 于 


所 有 子 信道 的 噪声 功率 过 ,所 以 各 子 信道 分 配 的 功率 分 别 是 : 0.95,0.85,0.75,0.65,0.55， 
0.45,0.35,0.25,0.15,0.05。 总 的 信道 容量 C= 二 6. 1bit/10 维 自由 度 。 


10 
P+ 
(2) 车 输入 的 信和 号 总 功率 P= 二 1, 则 平均 输出 功率 "一 i 二 0.65, 该 值 小 于 最 后 


4 个 子 信道 的 噪声 功率 ,关闭 这 4 个 子 信道 , 即 Pi 二 0,P, 二 0,Ps 二 0,P; 二 0; 重新 计算 平均 


P 十 >)o 
输出 功率 "一 一 全 一 一 0.517, 关 闭 第 6 个 子 信道 ,Ps 一 0; 再 计算 平均 输出 功率 "一 
P+ Do 
一 了 一 一 二 0.5, 此 时 其 他 子 信道 分 配 的 功率 : Pi 一 0,P 一 0.1,P: 一 0.2,P: 一 0.3,P， 


0.4, 实 际 只 有 前 4 个子 信道 可 用 。 总 的 信道 容量 C= 二 2. 4bit/10 维 自由 度 。 

从 上 述 例子 可 看 到 ,噪声 小 的 子 信道 分 配 到 的 输入 功率 大 , 信 噪 比 大 ,抵抗 噪声 的 能 力 
就 强 ,可 以 传输 的 比特 数 多 ,需要 采用 更 高 进 制 的 符号 调制 方法 ,以 提高 信道 的 频带 利用 率 ; 
反之 ,噪声 大 的 子 信道 分 配 的 功率 小 , 信 噪 比 小 ,可 以 传输 的 比特 数 就 少 。 最 终 使 得 每 个 子 
信道 的 误 码 率 都 相同 。 试 想 如 果 某 个 子 信道 的 误 码 率 低 ,就 可 以 再 多 分 配 功率 (或 比特 ) ,这 
样 调制 时 需要 更 高 进 制 , 使 得 抵抗 噪声 的 能 力 下 降 . 误 码 率 就 会 提高 ,所 以 最 终 必然 导致 每 
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个 子 信道 的 误 码 率 都 相等 。 

还 有 一 些 并 联 的 高 斯 信道 ,各 噪声 之 间 是 有 依赖 的 ,也 就 相当 于 有 记忆 的 高 斯 加 性 信 
道 , 各 单元 时 刻 上 的 噪声 不 是 统计 独立 的 ,分 析 这 样 的 信道 很 复杂 ,本 书 不 讨论 。 

3.4.3 限时 限 频 限 功 率 加 性 高 斯 白 噪 声 信道 

波形 信道 中 ,在 限时 ws、 限 频 f, 条 件 下 可 转化 成 多 维 连续 信道 ,将 输入 随机 过 程 {z (7))、 
输出 随机 过 程 {y(4)} 转 化 成 工 维 随机 序列 科 二 (Xi ,XX ，… ,XL) 和 Y= 二 (Yi ,Ys,…,YL), 因 
而 可 得 波形 信道 的 平均 互信 息 为 

I[z(2);y(7)] =limI1(X;Y) 


=lim[H.(X) — H.CX | Y)] 
=lim[H.0) — H.CY | X)] 
=lim[H.O0 + H.OY) — H.CX,Y)] 
一 般 情况 ,波形 信道 都 是 研究 单位 时 间 内 的 信息 传输 率 R,, 即 
R= lim ECX bit/s 


C = max[ im IC) Bi/s 
pe 

高 斯 白 噪声 加 性 波形 信道 是 经 常 假 设 的 一 种 信道 ,加 入 信道 的 噪声 是 限 带 的 加 性 高 斯 
白 品 声 {2(2)) ,其 均值 为 零 ,功率 谱 密度 为 No/2。 因 为 一 般 信道 的 频带 宽度 总 是 受 限 的 , 设 
其 为 W( 即 | /| 三 W) ,而 低频 限 带 高 斯 白 噪声 的 各 样本 值 彼此 统计 独立 ,所 以 限 频 高 斯 白 噪 
声 过 程 可 分 解 成 工 维 统计 独立 的 随机 序列 ,在 [0,isj 时 刻 内 ,LL 二 2Wis。 这 是 多 维 无 记忆 高 
斯 加 性 信道 ,根据 式 (3-4-4) 信 道 容 量 为 

L 
c= 二 os(1+) 


式 中 ,of 是 每 个 咯 声 分 量 的 功率 ,oj 二 P, 一半 X2W Xn/2Wis 二 光 。P, 是 每 个 输入 信号 样 


本 值 的 平均 功率 , 设 信号 的 平均 功率 受 限于 Ps, 则 P, 二 Pst/2Wis 一 3。 信 道 的 容量 为 


下 Ps /No L Ps ) 
Ce oe(1+ 编 |/ 2 】 log (1+ 对 和 


= Wealog 人 1 第 wj 维 (3-4-9) 
要 使 信道 传送 的 信息 达到 信道 容量 ,必须 使 输入 信和 号 {z(1)} 具 有 均值 为 零 、 平 均 功 率 Ps 的 
高 斯 白 噪声 的 特性 。 不 然 , 传 送 的 信息 率 将 低 于 信道 容量 ,信道 得 不 到 充分 利用 。 
高 斯 白 噪 声 加 性 信道 单位 时 间 的 信道 容量 
CC 一 各 一 王 Wiogl 1 再 joi (3-4-10) 


式 中 ,Ps 是 信号 的 平均 功率 ; NoW 为 高 斯 白 噪声 在 带宽 W 内 的 平均 功率 (功率 谱 密度 为 


No/2) ,可 见 信道 容量 与 信 品 功率 比 和 带宽 有 关 。 

这 就 是 重要 的 香农 公式 。 当 信道 的 频带 受 限 于 W( 单 位 Hz) ,信道 噪声 为 加 性 高 斯 白 
噪声 ,功率 谱 密 度 为 No/2 ,噪声 功率 为 NoW ,输入 信号 的 平均 功率 受 限于 Ps ,信道 的 信 噪 
功率 比 SNR 二 Ps/ NoW, 则 当 信 道 输入 信号 是 平均 功率 受 限 的 高 斯 白 噪 声 信号 时 ,信道 中 
的 信息 传输 率 可 以 达到 式 (3-4-10) 的 信道 容量 。 此 为 在 高 斯 噪声 信道 中 可 靠 通信 ,信息 传 
输 速率 的 上 限 值 。 

而 常用 的 实际 信道 一 般 为 非 高 斯 噪声 波形 信道 ,类 似 3.4. 1 节 所 述 ,其 噪声 炳 比 高 斯 噪 
声 的 小 ,信道 容量 是 以 高 斯 加 性 信道 的 信道 容量 为 下 限 值 。 所 以 香农 公式 也 适用 于 其 他 一 
般 非 高 斯 波形 信道 ,由 香农 公式 得 到 的 值 是 其 信道 容量 的 下 限 值 。 

下 面 对 式 (3-4-10) 的 香农 公式 作 深 入 讨论 ,以 说 明 增 加 信道 容量 的 途径 。 

(1) 当 带 宽 殉 一 定时 , 信 噪 比 SNR 与 信道 容量 C, 成 对 数 关系 ,如 图 3-17 所 示 , SNR 
增 大 ,C, 就 增 大 ,但 增 大 到 一 定 程度 后 就 趋 于 缓慢 。 说 明 增 加 输入 信号 功率 有 助 于 容量 的 
增 大 ,但 该 方法 是 有 限 的 ; 此 外 ,降低 噪声 功率 也 是 有 用 的 , 当 No 一 0 时 ,C, 一 ==, 即 无 噪声 
信道 的 容量 为 无 穷 大 。 

(2) 当 输入 信号 功率 Ps 一 定 , 增 加 信道 带宽 ,容量 可 以 增加 ,但 到 一 定 阶段 后 增加 变 得 
缓慢 ,因为 当 噪 声 为 加 性 高 斯 白 噪 声 时 , 随 着 W 的 增加 ,噪声 功率 NoW 也 随 之 增加 。 当 
克 一 co 时,C, 一 C- ,利用 关系 式 In(1 十 z)szGz 很 小 时 ) 可 求 出 C- 值 , 即 


。 . Ps WN, 
Ny 


Ps Fe Ys 
log (1 生 ;| lim Novlog(1 tx) 


i Ps i Ps 
I 


该 式 说 明 即 使 带宽 无 限 ,信道 容量 仍 是 有 限 的 。 当 C- =1lbit/s,Ps/No=ln2 王 一 1.6dB, 即 
当 带 宽 不 受 限 制 时 ,传送 1bit 信息 , 信 噪 比 最 低 只 需 一 1. 6dB, 这 就 是 香农 限 , 是 加 性 高 斯 品 
声 信道 信息 传输 率 的 极限 值 , 是 一 切 编码 方式 所 能 达到 的 理论 极限 。 在 实际 应 用 中 , 若 要 保 
证 可 靠 通信 , 信 噪 比 往往 都 比 这 个 值 大 得 多 。 

Ci/W 二 log(1 十 SNR)bps/Hz, 单 位 频带 的 信息 传输 率 , 也 叫 频带 利用 率 ,该 值 越 大 ， 
信道 就 利用 得 越 充分 。 当 C,/W= 二 1bit/s/Hz 时 ,SNR==1(0dB); 当 C/ 色 一 0 时 ,SNR= 
一 1.6dB, 此 时 信道 完全 丧失 通信 和 能力, 如 图 3-18 所 示 。 


bit/s 


C1/. 
如 /hivsHD 不 可 实现 区 域 


C 
可 实现 区 域 
0 SNRJdB el SNe 
图 3-17 信道 容量 与 信 品 比 的 关系 图 3-18 ”频带 利用 率 与 信 品 比 的 关系 


(3) C, 一 定时 ,带宽 W 增 大 , 信 噪 比 SNR 可 降低 , 即 两 者 是 可 以 互 换 的 。 若 有 较 大 的 
传输 带宽 , 则 在 保持 信号 功率 不 变 的 情况 下 ,可 容许 较 大 的 噪声 , 即 系统 的 抗 噪声 能 力 提 高 。 
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无 线 通信 中 的 扩 频 系统 就 是 利用 了 这 个 原理 ,将 所 需 传送 的 信号 扩 频 ,使 之 远 远 大 于 原始 信 
号 带宽 ,以 增强 抗 干 扰 的 能 力 。 

例 3-11 电话 信道 的 带宽 为 3. 3kHz, 若 信 噪 功率 比 为 20dB, 即 SNR 二 100, 运 用 香农 
公式 ,该 信道 的 容量 为 C, 二 Wlog(1 十 SNR) 二 3. 3log(1 十 100) 王 22Kbit/s。 而 实际 信道 达 
到 的 最 大 信道 传输 率 为 19. 2Kbit/s, 那 是 考虑 了 串 音 、 回 波 等 干扰 因素 ,所 以 比 理论 计算 值 
要 小 。 


3.5 多 输入 多 输出 信道 及 其 容量 


在 3. 3 节 中 介绍 的 独立 并 联 信道 ,每 个 信道 的 输出 只 与 本 信道 的 输入 有 关 ,与 其 他 信道 
输入 无 关 , 所 以 可 以 简单 地 看 成 是 若干 个 平行 信道 。 而 本 节 将 要 介绍 的 多 输入 多 输出 
《multi-input multi-output, MIMO) 系 统 如 图 3-19 所 示 , 每 个 信道 输出 都 与 所 有 M 个 信道 
输入 信号 有 关 , 是 由 M 个 信道 输入 信号 经 各 自 路 径 传输 后 与 噪声 的 线性 至 加 。 在 无 线 通信 
中 ,具有 多 个 发 射 天 线 和 多 个 接收 天 线 组 成 的 通信 系统 就 属于 这 种 信道 类 型 。 无 线 MIMO 
技术 利用 多 天 线 提供 有 效 的 发 射 分 集 和 接收 分 集 , 在 不 增加 系统 带宽 和 天 线 发 射 总 功率 的 
情况 下 ,可 有 效 对 抗 无 线 信道 衰落 的 影响 ,大 大 提高 系统 的 频谱 利用 率 和 信道 容量 。 多 天 线 
无 线 通信 是 当前 通信 和 领域 的 研究 热点 。 


wh 


图 3-19 MIMO 信道 模型 


3.5.1 MIMO 信道 模型 


MIMO 的 信道 模型 如 图 3-19 所 示 ,M 个 子 流 由 M 个 天 线 发 射出 去 ,经 空间 信道 后 由 
NN 个 接收 天 线 接收 ,N 个 接收 信和 号 在 频 域 表示 为 


1 = jazl 十 /azzs 十 … 十 jzw 十 ma 


yz2 = jaziZl 十 jzzzz Thomrm tn 


YN = hmziThyzz "二 hvurm ny 
用 和 矩阵 表示 为 
y= Hxi+n (3-5-1) 


第 3 剖 “信道 与 信道 容量 


其 中 x 二 (x ,zs，… ,zx)" 表示 发 送信 号 复 矢量 ,信和 号 zx 为 零 均 值 i.i. d 高 斯 变量 ,发 送信 
号 的 协 方差 矩阵 为 


及 - = E{xx'!) 
式 中 + 表示 复 和 矩阵 的 共 生 转 置 。 不 管 发 送 天 线 数 M 多 大 ,总 的 发 送 功率 约 东 为 Pr , 即 Pr 一 
tr(R ) ,tr(*") 表 示 求 矩阵 的 迹 (trace) ,由 对 角 线 元 素 之 和 求 得 。 假 设 发 送 方 未 知 信道 状态 
信息 (channel state information ,CSIT) , 则 每 根 天 线 发 送 相等 的 信号 功率 Pr/M ,发 送信 号 的 


协 方差 矩阵 为 Re 一 人 ru ,其 中 fu 为 MXM 单位 矩阵 。 


hu hm 

hs : | 中 的 第 闻 分 量 心 表示 第 7 根 发 
hy PN 
送 天 线 至 第 i 根 接收 天 线 的 信道 衰落 复数 系数 。 从 归 一 化 的 目的 出 发 ,假定 N 根 接收 天 线 
中 的 每 一 根 的 接收 功率 均等 于 总 的 发 送 功率 (忽略 在 传播 过 程 中 信号 的 衰减 、 放 大 、 了 明 影 和 

M 

天 线 增益 等 ) ,于 是 对 于 给 定 系数 的 信道 , H 中 每 个 元 素 的 归 一 化 约束 为 2) | h | = M， 
i 一 1,2,…,N。 当 信道 矩阵 元 素 为 复数 随机 变量 时 ,可 对 上 述 表 达 式 的 期 望 值 进行 归 一 化 。 
在 无 线 移动 通信 中 ,散射 多 径 分 量 极为 丰富 ,在 不 存在 视线 传播 途径 时 , 心 可 表示 成 复 高 斯 
随机 变量 。 它 的 实 部 和 虚 部 彼此 独立 ,都 是 均值 为 零 .方差 为 1/2 的 高 斯 分 布 N(0,1/2) ,也 
可 以 把 心 分 布 记 为 复 高 斯 分 布 Ne(0,1)。 心 的 幅度 是 瑞 利 分 布 ,相位 服从 均匀 分 布 。 

接收 端的 噪声 用 NX1 列 复 向 量 矩 阵 n 表示 ,n 王 (m,ns，.…nn)" ,其 各 分 量 n; 为 互相 
统计 独立 的 零 均 值 高 斯 变量 ,具有 独立 的 、 相 等 方差 的 实 部 和 虚 部 NC(0,0*/2), 即 n;~NN。 
50, 到) 。 噪 声 协 方差 阵 为 Rs 二 Elnn') , 若 n 的 分 量 间 不 相关 ,R, 二 o*In ,NN 个 接收 支 路 具 
有 相等 的 噪声 功率 o? ,每 根 接收 天 线 输 出 端的 信号 功率 为 Pr , 故 接收 功率 信 噪 比 为 po= 亚 


oo" 


信道 矩阵 互 为 N XM 复 和 矩阵,H= 


3.5.2 MIMO 信道 容量 


在 单 天 线 系统 信道 容量 研究 的 基础 上 ,Telatar 和 Foschini 首先 对 白 高 斯 噪声 下 的 
MIMO 系统 的 信道 容量 分 别 进行 了 研究 ,在 假设 各 天 线 互 相 独 立 的 条 件 下 ,多 天 线 系统 比 
单 天 线 系统 在 信道 容量 上 有 显著 的 提高 。 考 虑 M 根 发 送 天 线 、.N 根 接收 天 线 的 无 线 传输 系 
统 , 在 接收 端 已 准确 知道 信道 传输 特性 的 情况 下 ,Foschini 的 研究 表明 : 当 M= N 时 可 得 到 
与 M 成 比例 增加 的 信道 容量 。 因 此 ,多 天 线 系统 具有 很 好 的 抗 衰落 和 抗 噪声 性 能 。 

目前 针对 MIMO 信道 容量 的 主要 结论 性 成 果 有 : 

(1) 接收 端 已 知 信道 转移 矩阵 五 ,其 值 固定 。 但 如 果 发 送 端 未 知 信道 状态 信息 (CSD ， 
最 优 方 案 是 等 功率 发 送 , 即 将 总 发 送 功率 Pr 均匀 分 布 到 各 个 发 送 天 线 单元 。 此 时 MIMO 
信道 容量 的 通用 公式 为 

= logdet [I + frHH'] (3-5-2) 


获得 此 容量 的 发 送信 号 为 循环 对 称 复 高 斯 随机 向 量 "9 。 式 中 det 表示 求 行列 式 ,Iy 为 N 
阶 单位 矩阵 。 
如 果 发 送 端 已 知 信道 状态 信息 , 则 可 以 运用 注水 法 将 总 发 送 功率 分 配 到 各 个 发 送 天 线 ， 
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然后 利用 容量 公式 计算 。 
(2) 接收 端 已 知 信道 状态 信息 ,但 信道 转移 矩阵 H 是 复 随 机 变量 ,满足 循环 对 称 性 质 。 
此 时 MIMO 信道 的 平均 信道 容量 (也 称 遍历 容量 ) 为 
Ce = Ea {1og[aet(I, + un)]) (3-5-3) 
式 (3-5-3) 中 的 积分 运算 包含 了 非 线 性 对 数 函 数 的 积分 ,计算 困难 , 且 只 能 通过 数值 仿真 的 
方法 来 计算 。 一 般 来 说 ,上 式 中 的 HH' 都 满足 X 分 布 随机 变量 的 统计 特征 。 故 当 收 、 发 天 
线 数 相等 即 M=N 时 ,采用 卡 方 变量 ,MIMO 信道 容量 的 下 限 可 表示 为 


N 
GS Dlog [1 + R22] (3-5-4) 
式 中 ,Xi 表示 自由 度 为 2k 的 卡 方 变 量 ,因为 矩阵 了 H 各 分 量 均 为 均值 为 0 方差 为 1 的 复数 ， 
所 以 Xi 的 均值 为 。 
(3) 当 M 很 大 时 ,可 利用 大 数 定理 
HH' ~ MI 
于 是 C>Nlog(1+p) 
同样 有 再 -NTw 


C— Miog(1 + 
在 相同 的 发 射 功率 和 带宽 条 件 下 ,M 根 发 送 天 线 .N 根 接收 天 线 的 MIMO 信道 容量 近 
似 于 min(N,MD) 售 单 收音 发 (SISO) 天 线 系统 的 信道 容量 : 


二 [Lmin(M,N)JBIlog( 号】 (3-5-5) 


其 中 B 为 信号 带宽 。 式 (3-5-5) 表 明 ,功率 和 带宽 固定 时 ,MIMO 系统 的 最 大 容量 或 容量 上 
限 随 最 小 天 线 数 的 增加 而 线性 增加 。 而 在 同样 条 件 下 ,在 接收 端 或 发 射 端 采用 多 天 线 或 天 
线 阵列 的 普通 智能 天 线 系统 ,其 容量 仅 随 天 线 数 的 对 数 增加 而 增加 。 相 对 而 言 ,MIMO 对 
于 提高 无 线 通信 系统 的 容量 具有 极 大 的 潜力 。 


3.6 信 源 与 信道 的 匹配 


信 源 发 出 的 消息 (符号 ) 一 般 要 通过 信道 来 传输 ,因此 要 求 信 源 的 输出 与 信道 的 输入 
匹配 。 

(1) 符号 匹配 : 信 源 输出 的 符号 必须 是 信道 能 够 传送 的 符号 , 即 要 求 信 源 符号 集 就 是 
信道 的 入 口 符号 集 或 人 口 符号 集 的 子 集 ,这 是 实现 信息 传输 的 必要 条 件 , 可 在 信 源 与 信道 之 
间 加 入 编码 器 予以 实现 ,也 可 以 在 信 源 压缩 编码 时 一 步 完 成 。 

(2) 信息 匹配 : 对 于 某 一 信道 ,只 有 当 输 入 符号 的 概率 分 布 p(z) 满 足 一 定 条 件 时 才能 
达到 其 信道 容量 C。 也 就 是 说 只 有 特定 的 信 源 才能 使 某 一 信道 的 信息 传输 率 达到 最 大 。 一 
般 情况 下 , 信 源 与 信道 连接 时 ,其 信息 传输 率 R=I(X;Y) 并 未 达到 最 大 , 即 信道 没有 得 到 充 
分 利用 。 当 信 源 与 信道 连接 时 ,车 信息 传输 率 达 到 了 信道 容量 , 则 称 此 信 源 与 信道 达到 匹 


配 。 否 则 认为 信道 有 元 余 。 信 道 元 余 度 定义 为 
信道 绝对 元 余 度 = C 一 I(X;Y) 
其 中 ,C 是 该 信道 的 信道 容量 ,ITCX;Y) 是 信 源 通过 该 信道 实际 传输 的 平均 信息 量 。 


信道 相对 宛 余 度 = 1 一 车 汪 


元 余 度 大 ,说 明 信 源 与 信道 (信息 ) 匹 配 程度 低 ,信道 的 信息 传递 能 力 未 得 到 充分 利用 ; 
元 余 度 小 ,说 明 信 源 与 信道 (信息 ) 匹 配 程度 高 ,信道 的 信息 传递 能 力 得 到 较 充 分 利用 ; 宛 余 
度 为 零 , 说 明 信 源 与 信道 (信息 ) 完 全 匹配 ,信道 的 信息 传递 能 力 得 到 完全 利用 。 一 般 来 说 ， 
实际 信 源 的 概率 分 布 未 必 就 是 信道 的 最 佳 输入 分 布 ,所 以 I(X;Y) 三 C, 宛 余 度 不 为 零 。 
此 ,要 求 信 源 与 信道 达到 信息 的 完全 匹配 是 不 可 能 的 ,只 要 信道 宛 余 度 较 小 就 可 以 了 。 

所 以 ,对 信 源 输出 的 符号 进行 信 源 编码 可 以 达到 2 个 目的 ,一 是 将 信 源 符号 变换 为 信道 
能 够 传输 的 符号 , 即 符号 匹配 ; 二 是 变换 后 的 符号 分 布 概率 能 使 信息 传输 率 接近 信道 容量 ， 
即 信 息 匹配 。 从 而 使 信道 宛 余 度 接近 于 零 , 信 源 和 信道 达到 匹配 ,信道 得 到 充分 利用 。 

例 3-12 某 离散 无 记忆 信 源 ,输出 符号 的 概率 分 布 如 表 3-1 所 列 。 该 信 源 的 信息 焙 为 
有 H(X) 二 1.75bit/ 信 源 符 号 。 通 过 一 个 无 噪 无 损 二 元 离散 信道 进行 传输 ,二 元 离散 信道 的 信 
道 容量 为 C 二 1bit/ 信 道 符号 。 根 据 符号 匹配 ,必须 对 信 源 X 进行 二 元 编码 ,才能 使 信 源 符 
号 在 此 二 元 信道 中 传输 。 进 行 二 元 编码 的 结果 可 有 许多 种 , 表 3-1 中 列 出 了 C1、C: 两 种 。 

表 3-1 信 源 输出 符号 概率 分 布 和 编码 


(3-6-1) 


(3-6-2) 


Xl 2 3 4 

力 (Zi) 1/2 1/4 1/8 1/8 
C 00 01 10 11 
C; 000 001 010 011 


从 表 中 可 见 , 码 C, 中 每 个 信 源 符号 需 用 2 个 二 元 符号 ,信道 的 信息 传输 率 R= 二 HC(X)/ 
2 二 0. 875bit/ 信 道 符 号 ; 而 码 C, 中 需 用 3 个 二 元 符号 ,Rs 二 HH(X)/3 二 0. 583bit/ 信 道 符 号 。 
信息 传输 率 R 即 为 信道 传输 率 ICX;Y) ,这 时 ,Rs 二 Ri 二 C, 信 道 有 宛 余 。 那 么 ,是 否 存 在 一 
种 信 源 编码 ,使 信道 的 信息 传输 率 R 接近 或 等 于 信道 容量 C 呢 ? 也 就 是 ,是 否 存 在 一 种 编 
码 ,使 每 个 信 源 符号 所 需 的 二 元 符号 最 少 呢 ? 这 就 是 信 源 编码 理论 ,也 就 是 数据 压缩 理论 所 
讨论 的 问题 。 


本 童 小结 


本 章 从 信道 的 分 类 及 其 描述 出 发 ,对 各 种 信道 的 信息 传输 速率 和 信道 容量 等 信道 特性 
进行 了 介绍 ,其 中 对 信道 容量 的 分 析 为 充分 利用 信道 的 信息 传输 能 力 提供 了 理论 依据 ,对 实 
际 通信 系统 的 设计 有 着 重要 的 理论 指导 意义 。 

对 于 固定 参数 信道 ,通常 采用 条 件 概率 p(Y|X) 来 描述 信道 输入 、 输 出 信和 号 之 间 统 计 的 
依赖 关系 ,也 称 为 转移 概率 ,其 信道 容量 是 固定 值 ; 对 于 时 变 参数 信道 ,信道 容量 是 随机 变 
量 , 通 常用 平均 容量 (遍历 容量 ) 和 中 断 容量 来 表示 。 
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信道 容量 : C 一 max1(X;Y) ,选择 信 源 概率 分 布 p(ai) 使 I(X;Y) 达 到 最 大 。 
无 噪 无 损 信道 : C=I(X;Y)= 一 H(X)==H(Y)==logn 

无 噪 有 损 ( 确 定 ) 信 道 : C 二 maxI(X;Y) 二 maxH(Y) 

有 了 噪 无 损 信 道 : C 一 maxI(X;Y) 二 maxH(X) 

二 元 对 称 信道 : C=1 一 H(p) 


对 称 DMC 信道 : C= logm 一 H(Y | ai) = logm 十 Dps logps 
j=1 
准 对 称 DMC 信道 : C = logn 一 HGp% ,p's,*…,p') 一 >) NilogM 
E Ey 星 

独立 且 无 记忆 信道 : C 一 maxI(X;Y) 一 max27TCX3Y) 一 > maxI(XY) = 
区 x XX l=l t=l x 
BE 
t=l 


独立 并 联 信道 : Cs…r = 二 maxI(X;Y) 过 CGC 


1 Ws 


限时 限 频 限 功率 加 性 高 类 自 噪声 信道 (香农 公式 ): ,二 Jim 硅 二 Wlog (1 二 对- 知 jbit/s 
当 带 宽 不 受 限制 时 ,传送 1bit 信息 , 信 品 比 最 低 只 需 一 1. 6dB, 这 就 是 香农 限 。 
MIMO 信道 : C=logdet [Iv + HH'] 


1 


习题 


31 设 二 进 制 对 称 信道 的 概率 续 移 逢 阵 为 [| |: 
1/3 2/3 
《1) 车 p(zo)= 二 3/4,p(z1)= 二 1/4, 求 H(X).H(XIY) .H(Y|IX) 和 I(X;Y)。 
(2) 求 该 信道 的 信道 容量 及 其 达到 信道 容量 时 的 输入 符号 概率 分 布 。 
(3) 求 (1) 中 信道 的 绝对 完 余 度 和 相对 宛 余 度 。 
3-2 某 信 源 发 送 端 有 2 个 符号 ,si 一 1,2,p(zi) 一 a, 每 秒 发 出 一 个 符号 。 接 收 端 有 


3 种 符号 (3,j 一 1,2,3) 转 移 概 率 逢 阵 为 P=| /7 el 
(1) 计算 接收 端的 平均 不 确定 度 ; 汪 
(2) 计算 由 于 噪声 产生 的 不 确定 度 H(Y|X); 0 
(3) 计算 信道 容量 。 | 1-e 
3-3 在 有 扰 离散 信道 上 传输 符号 1 和 0, 在 传输 过 程 中 每 

100 个 符号 发 生 一 个 错 传 的 符号 。 已 知 p(0)==1/2,p(1)= 

1/2 ,信道 每 秒 内 允许 传输 1000 个 符号 。 求 此 信道 的 信道 容量 。 2 2 


3-4 求 如 图 3-20 中 信道 的 信道 容量 及 其 最 佳 输入 概率 分 
布 ,并 求 当 s=0 和 1/2 时 的 信道 容量 。 图 3-20 习题 3-4 图 


3-5 求 下 列 两 个 信道 的 容量 , 当 0 适 s<1/2 时 ,比较 两 信道 容量 值 。 


Cy Ws = | 
p—e l—p—e 2e 


(2) 下 p—e 2e | 
光一 全 tl—p=6 0 
3-6 设 有 扰 离散 信道 的 传输 情况 分 别 如 图 3-21 所 示 。 求 出 该 信道 的 信道 容量 。 
3-7 已 知 二 元 有 品 和 删除 信道 如 图 3-22 所 示 。 求 下 列 情 况 的 信道 容量 。 
(1) 该 信道 容量 ; 
(2) 当 e 一 0 时 为 删除 信道 , 求 其 容量 ; 
(3) 当 po=0 时 为 二 元 对 称 信道 , 求 其 容量 ; 
(4) 对 比分 析 s 一 0. 125 时 的 二 元 对 称 信道 和 po=0.5 时 的 删除 信道 ,哪个 更 好 ? 


1-e-! 
E 0 


i-ep 
图 3-21 习题 3-6 图 图 3-22 习题 3-7 图 


3-8 发 送 端 有 3 种 等 概 符号 (ziyzayzs),p(z) 一 1/3, 接 收 端 收 到 3 种 符号 (yi ,ya， 
ys) ,信道 转移 概率 矩阵 为 
0.5 0.3 0.2 
ee 0.3 中 


Ol 08 0 

(1) 计算 接收 端 收 到 一 个 符号 后 得 到 的 信息 量 H(Y); 

(2) 计算 噪声 粹 H(Y|X); 

(3) 计算 当 接收 端 收 到 一 个 符号 ys 的 错误 概率 ; 

(4) 计算 从 接收 端 看 的 平均 错误 概率 ; 

(5) 计算 从 发 送 端 看 的 平均 错误 概率 ; 

(6) 从 转移 矩阵 中 你 能 看 出 该 信道 的 好 坏 吗 ? 

(7) 计算 发 送 端的 HH(X) 和 HCX1Y)。 

3-9 具有 6. 5MHz 带宽 的 某 高 斯 信道 , 若 信道 中 信号 功率 与 噪声 功率 谱 密度 之 比 为 
45.5MHz, 试 求 其 信道 容量 。 

3-10 ”电视 图 像 由 30 万 个 像素 组 成 ,对 于 适当 的 对 比 度 ,一 个 像素 可 取 10 个 可 辨别 的 
亮度 电 平 ,假设 各 个 像素 的 10 个 亮度 电 平 都 以 等 概率 出 现 , 实 时 传送 电视 图 像 每 秒 发 送 
30 帧 图 像 。 为 了 获得 满意 的 图 像 质量 ,要求 信和 号 与 噪声 的 平均 功率 比值 为 30dB, 试 计算 在 
这 些 条 件 下 传送 电视 的 视频 信号 所 需 的 带宽 。 

3-11 一 个 平均 功率 受 限制 的 连续 信道 ,其 通 频带 为 1MHz, 信 道上 存在 白色 高 斯 
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噪声 。 
(1) 已 知 信道 上 的 信号 与 噪声 的 平均 功率 比值 为 10, 求 该 信道 的 信道 容量 ; 
(2) 信道 上 的 信号 与 噪声 的 平均 功率 比值 降 至 5, 要 达到 相同 的 信道 容量 ,信道 通 频带 
应 为 多 大 ? 
(3) 若 信道 通 频带 减 小 为 0. 5MHz 时 ,要 保持 相同 的 信道 容量 ,信道 上 的 信号 与 噪声 的 
平均 功率 比值 应 等 于 多 大 ? 
3-12 若 有 一 信 源 | > |=| 二 | 每 各 发出 2. 55 个 信 源 符号 。 将 此 信 源 的 输出 符 
Pp 0.8 0.2 
号 送 入 某 一 个 二 元 信道 中 进行 传输 (假设 信道 是 无 噪 无 损 的 ) ,而 信道 每 秒 只 传递 2 个 二 元 
符号 。 
(1) 试问 信 源 不 通过 编码 能 否 直 接 与 信道 连接 ? 
(2) 若 通 过 适当 编码 能 否 在 此 信道 中 进行 无 失真 传输 ? 
3-13 ”有 一 个 二 元 对 称 信道 ,其 信道 转移 概率 如 图 3-23 所 示 。 
> 设 该 信道 以 1500 个 二 元 符号 /s 的 速度 传输 输入 符号 。 现 有 一 消息 
序列 共有 14000 个 二 元 符号 ,并 设 在 这 消息 中 z(0) 王 (1) 王 1/2。 
L098 1 问 从 信息 传输 的 角度 来 考虑 ,10s 内 能 否 将 这 消息 序列 无 失真 地 传 
图 3-23 习题 3-13 图 ” 送 完 ? 
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信息 率 失 真 国 数 全 


第 2 章 所 讲 的 信 源 炉 ,是 针对 不 失真 的 情况 。 而 在 实际 信息 处 理 过 程 中 ,往往 允许 有 一 
定 的 失真 ,例如 连续 信 源 发 出 的 消息 ,由 于 其 可 能 取 值 有 无 限 多 种 , 信 源 焙 无 穷 大 ,要 想 传输 
这 样 的 信息 ,必须 经 过 A/D 变换 ,这 就 会 引入 量化 失真 。 人 们 的 视觉 和 听觉 都 允许 有 一 定 
失真 ,电影 和 电视 就 是 利用 了 视觉 残留 , 才 没有 发 觉 影片 是 由 一 张 一 张 画面 快速 联结 起 来 
的 。 耳 条 的 频率 响应 也 是 有 限 的 ,在 某 些 实际 场合 中 只 需 保留 信息 的 主要 特征 就 够 了 。 所 
以 ,一般 可 以 对 信 源 输出 的 信息 进行 失真 处 理 , 降 低 信息 率 ,提高 传输 效率 。 那 么 在 允许 一 
定 程 度 失真 的 条 件 下 ,能 够 把 信 源 信息 压缩 到 什么 程度 ,至 少 需要 多 少 比特 才能 描述 信 源 
呢 ? 本 章 主 要 讨论 在 一 定 失 真情 况 下 所 需 的 最 少 信息 率 , 从 分 析 失 真 函 数 、 平 均 失 真 出 发 ， 
求 出 信息 率 失真 函数 。 


4.1 信息 率 失 真 函数 的 概念 和 性 质 


在 实际 问题 中 ,信号 有 一 定 的 失真 是 可 以 容忍 的 。 但 是 当 失 真 大 于 某 一 限度 后 ,信息 质 
量 将 被 严重 损伤 ,甚至 丧失 其 实用 价值 。 要 规定 失真 限度 ,必须 先 有 一 个 定量 的 失真 测度 。 


4.1.1 失真 函数 和 平均 失真 


假如 某 一 信 源 X ,输出 样 值 为 x; ,zx;€ {a ,…,a,) ,经 过 有 失真 的 信 源 编码 器 ,输出 Y， 
样 值 为 yj ,y; E161,… ,6b。)。 如 果 zx; 二 yy;， 则 认为 没有 失真 ; 如 果 zx; 关 yy; ,那么 就 产生 了 失 
真 。 失 真 的 大 小 ,用 一 个 量 来 表示 , 即 失真 函数 d(x;,y;), 以 衡量 用 y; 代替 zx; 所 引起 的 失 
真 程度 。 一 般 失真 函数 定义 为 

0, Zzi=y, 
dl(zi,yj) = (4-1-1) 
a, a> 0 Ay 


将 所 有 的 d(xz;,y;) 排 列 起 来 ,用 和 矩阵 表示 为 
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dlaisbi) dl(a1sbs) … dl(ai,bn) 


dl(azssb) d(as,bs) … dl(a,,bn) 
2 1 2 人 (4-1-2) 


dlassb) dlassbs) ~ d(a,,b,) 
称 d 为 失真 矩阵 。 
例 4-1 设 信 源 符号 XE10,1) ,编码 器 输出 符号 YE {10,1,2} ,规定 失真 函数 为 
d(0,0) =d(1,1)=0 
d(0,1) =d(1,0)=1 
d(0,2) = d(1,2) = 0.5 


=| 1 ga 
1 0 .05 

值得 注意 的 是 ,失真 函数 d(z;,y;) 的 数值 是 依据 实际 应 用 情况 ,用 y; 代替 z; 所 导致 的 
失真 大 小 是 人 为 决定 的 。 比 如 例 4-1 中 ,用 y=2 代替 z=0 和 z=1 所 导致 的 失真 程度 相 
同 ,用 0.5 表示 ; 而 用 y=0 代替 x 二 1 则 导致 的 失真 程度 要 大 ,用 1 表示。 失真 函数 
d(zisy)) 的 函数 形式 可 以 根据 需要 任意 选取 ,例如 平方 代价 函数 、 绝 对 代价 函数 、 均 匀 代 价 
函数 等 。 最 常用 的 失真 函数 有 

均 方 失真 ; d(xzi,yj)== (zi 一 yj)? 

绝对 失真 : d(xzi,yj)= 二 |zx; 一 y;| 

相对 失真 : dziyyi) 一 |zi 


则 由 式 (4-1-2) 得 失真 矩阵 


—y;l/lzil 


0， Zzi=Yy; 


其 他 

前 三 种 失真 函数 适用 于 连续 信 源 ,后 一 种 适用 于 离散 信 源 。 均 方 失真 和 绝对 失真 只 与 
(zi 一 yj) 有 关 , 而 不 是 分 别 与 x; 及 y; 有 关 , 在 数学 处 理 上 比较 方便 ; 相对 失真 与 主观 特性 
比较 匹配 ,因为 主观 感觉 往往 与 客观 量 的 对 数 成 正比 ,但 在 数学 处 理 中 就 要 困难 得 多 。 其 实 
选择 一 个 合适 的 失真 函数 ,要 完全 与 主观 特性 匹配 已 是 非常 困难 的 ,更 不 用 说 还 要 易于 数学 
处 理 。 当 然 不 同 的 信 源 应 有 较 好 的 失真 函数 ,所 以 在 实际 问题 中 还 可 提出 许多 其 他 形式 的 
失真 函数 。 

失真 函数 的 定义 可 以 推广 到 序列 编码 情况 ,如 果 离散 信 源 输出 符号 序列 和 X= (Xi， 
Xs XX XL) ,其 中 工 长 符号 序列 样 值 x 二 (zo ,Zz ，… ,zi ，… ,zi ) ,经 信 源 编码 后 , 输 
出 符号 序列 了 == (Yi ,Ys,…,Y,…,YL), 其 中 工 长 符号 序列 样 值 yj; 二 Gy yj, 和，…， 
yj) , 则 失真 函数 定义 为 


误 码 失真 : dziyy) 一 SCziy) 一 


L 
di (xisy;) = Fd) (4-1-3) 
《一 1 


式 中 d(zs ,yy ) 是 当 信 源 输出 工 长 符号 样 值 x, 中 的 第 ! 个 符号 x; ,经 编码 后 输出 工 长 符号 
样 值 y 中 的 第 ! 个 符号 yj 时 的 失真 函数 。 

由 于 xz; 和 都 是 随机 变量 ,所 以 失真 函数 d(z;,y,) 也 是 随机 变量 。 要 分 析 整 个 信 源 
的 失真 大 小 ,就 需要 用 其 数学 期 望 或 统计 平均 值 表示 ,将 失真 函数 的 数学 期 望 称 为 平均 失 
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真 , 记 为 
D= > > pea, da,b)) 
dml j=l 
= D5) dpa) po; | a dlai,b) ea 
这 1 j=1 
其 中 ,pa 一 1,2,…,m2j 一 1,2,…,m 是 联合 分 布 ; p (a;) 是 信和 源 符号 概率 分 布 ; 
plylx) pbb;1a) ,i 二 1,2,…,n,j 二 1,2,…,m 是 转移 概率 分 


布 ; d(a; ,0b;) ,i 二 1,2,… ,nj 二 1,2,…,m 是 离散 随机 
变量 的 失真 函数 。 平均 失真 D 是 对 给 定 信 源 分 布 
图 4-1 转移 概率 分 布 为 p(y;1z) 的 ”jp (a,) 在 经 过 某 一 种 转移 概率 分 布 为 p(5; 1a;) 的 有 失 
信 源 编码 器 真 信 源 编码 器 后 产生 失真 的 总 体 量度 。 图 4-1 为 转移 
概率 分 布 为 p(y; |z;) 的 信 源 编码 器 。 
对 于 连续 随机 变量 同样 可 以 定义 平均 失真 
款 泽 [prvce par ydrdy Ch) 


其 中 ,pxwy (zx,y) 是 连续 随机 变量 的 联合 概率 密度 ; d(z,y) 是 连续 随机 变量 的 失真 函数 。 
对 于 工 长 序列 编码 情况 ,平均 失真 为 


二 一 一 一 信 源 编码 器 一 一 一 汇 


L L 
D, = 1 Ed ,y)] = + 55, (4-1-6) 


-1=1 Li 


其 中 ,D, 是 第 /个 符号 的 平均 失真 。 
4.1.2 信息 率 失真 函数 R(D) 
如 图 4-2 所 示 , 信 源 X 经 过 有 失真 的 信 源 编码 器 输出 Y, 将 这 样 的 编码 器 看 作 存 在 干 

扰 的 假想 信道 ,Y 当 作 接收 端 的 符号 。 这 样 就 可 用 分 析 信道 传输 的 方法 来 研究 限 失真 信 源 

编码 问题 。 

信 源 编码 器 的 目的 是 使 编码 后 所 需 的 信息 传 


x SP Y 
输 率 RR 尽量 小 ,然而 R 越 小 ,引起 的 平均 失真 XE Too 光 各 9 时 全 pp 
就 越 大 。 给 出 一 个 失真 的 限制 值 D, 在 满足 平均 L 
失真 下 假想 信道 
D<D {4-17) 


的 条 件 下 ,选择 一 种 编码 方法 使 信息 率 R 尽 可 能 图 4-2 将 信 源 编码 器 看 作 信道 
小 。 信 息 率 尽 就 是 所 需 输出 的 有 关 信 源 X 的 信 
息 量 。 将 此 问题 对 应 到 信道 , 即 为 接收 端 Y 需要 获得 的 有 关 X 的 信息 量 , 也 就 是 互信 息 
I(X;Y)。 这 样 ,选择 信 源 编码 方法 的 问题 就 变 成 了 选择 假想 信道 的 问题 ,符号 转移 概率 
p(yj1zi) 就 对 应 信道 转移 概率 。 

根据 式 (4-1-4) ,平均 失真 由 信 源 分 布 p(x;) 假想 信道 的 转移 概率 p(y; |zx;) 和 失真 函 
数 d(zi,yj) 决 定 ,车 p(zi) 和 d(xzi,yj) 已 定 , 则 可 给 出 满足 式 (4-1-8) 条 件 的 所 有 转移 概率 
分 布 pij ,它们 构成 了 一 个 信道 集合 Pp 

Pyp= {pb |ad:DED i=1,2,.%,n3j = 1,2,°,m} (4-1-8) 
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称 为 D 允许 试验 信道 。 

由 于 互信 息 取 决 于 信 源 分 布 和 信道 转移 概率 分 布 ,根据 2. 2 节 所 述 , 当 p (zi) 一 定时 ， 
互信 息 T 是 关于 p(y;|zxi) 的 UU 型 凸 函 数 , 存 在 极 小 值 。 因 而 在 上 述 允 许 信道 Pp 中 ,可 以 寻 
找 一 种 信道 2 ,使 给 定 的 信 源 p(xi) 经 过 此 信道 传输 后 ,互信 息 I(X;Y) 达 到 最 小 。 该 最 小 
的 互信 息 就 称 为 信息 率 失真 函数 RCD) , 即 

R(D) = minT(X:Y) (4-1-9) 


对 于 离散 无 记忆 信 源 ,RCD) 函 数 可 写成 
es plb; | ai) 
R(D) = am Pap | a)log po 


其 中 ,p(ai) ,i 二 1,2,…,n 是 信 源 符号 概率 分 布 ; pCbj1ai) ,i 二 1,2,… ,nsj 二 1,2,…,m 是 转 
移 概 率 分 布 ; p(6;),j 二 1,2,…,m 是 接收 端 收 到 符号 概率 分 布 。 

由 互信 息 的 关系 式 

I(X;Y) = H(Y)— H(Y | X) = H(X)—H(X|Y) 

可 理解 为 互信 息 是 信 源 发 出 的 信息 量 H(X) 与 在 噪声 干扰 条 件 下 消失 的 信息 量 有 H(Y|X) 之 
差 。 应 当 注 意 ,在 这 里 讨论 的 是 有 关 信 源 问 题 , 一 般 不 考虑 噪声 的 影响 。 而 是 由 于 信息 的 存 
储 和 传输 时 需要 去 掉 元 余 , 或 者 从 某 些 需 要 出 发 认为 可 将 一 些 次 要 成 分 去 掉 。 也 就 是 说 ,对 
信 源 的 原始 信息 在 允许 的 失真 限度 内 进行 了 压缩 。 由 于 这 种 压缩 损失 了 一 定 的 信息 ,造成 
一 定 的 失真 。 把 这 种 失真 等 效 成 由 噪声 而 造成 的 信息 损失 ,看 成 一 个 等 效 噪声 信道 (又 称 为 
试验 信道 ) ,因此 信息 率 失真 函数 的 物理 意义 是 : 对 于 给 定 信 源 ,在 平均 失真 不 超过 失真 限 
度 的 条 件 下 ,信息 率 容许 压缩 的 最 小 值 RCD)。 下 面 通过 对 一 个 信 源 处 理 的 例子 ,进一步 
研究 信息 率 失真 函数 的 物理 意义 。 

例 4-2 设 信 源 的 符号 表 为 A= fa ,as,… ,az,) ,概率 分 布 为 pCai) 二 1/2n,i 王 1,2,…， 
2n, 失 真 函数 规定 为 


(4-1-10) 


1,， ij 
dl(aivaj;) = 
人 i=j 
即 符号 不 发 生 差错 时 失真 为 0, 一 旦 出 错 ,失真 为 1, 试 研究 在 一 定编 码 条 件 下 信息 压缩 的 
程度 。 
由 信 源 概率 分 布 可 求 出 信 源 焙 为 


8 直人 小 )= logz2nbit/ 符号 


如 果 对 信 源 进行 不 失真 编码 ,平均 每 个 符号 至 少 需要 logz2n 个 二 
2 7 进 制 码 元 。 现 在 假定 允许 有 一 定 失真 ,假设 失真 限度 为 D=1/2。 
也 就 是 说 , 当 收 到 100 个 符号 时 ,允许 其 中 有 50 个 以 下 的 差错 。 
这 时 信 源 的 信息 率 能 减少 到 多 少 呢 ? 每 个 符号 平均 码 长 能 压缩 


全 ” 到 什么 程度 呢 ? 设想 采用 下 面 的 编码 方案 : 

2 a 一 01y02 ”ad 一 Cn 
Qn+l YY dnrdnt2 > Cn Q2n > Qn 

a. 


” 用 信道 模型 图 表示 ,如 图 4-3 所 示 。 
图 4-3 ”等 效 试验 信道 按照 上 述 关 于 失真 函数 的 规定 ,平均 失真 应 为 
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由 于 上 述 编码 相当 于 图 4-3 所 示 试 验 信道 。 由 该 信道 模型 不 难看 出 , 它 是 一 个 确定 信道 ， 
所 以 
ps 二 1 或 0，H(Y|X)=0 
由 互信 息 公式 可 得 


I(X;Y) = HD — H(Y | X) = HY) 
信道 输出 概率 分 布 为 


二 二 = = 去 
由 于 从 a 起 ,以 后 所 有 符号 都 编 成 a, ,所 以 概率 分 布 为 
1+n 
Ph 2n 
则 输出 糯 态 (Y) 为 
Mp i Cn ml | | = 
H(Y) H( 击 … 沾 ， 2 ) log2n Dn log(2z 十 1) (a=1=11} 
(x 一 DD 个 


由 以 上 结果 可 知 , 经 压缩 编码 以 后 , 信 源 需要 传输 的 信息 率 由 原来 的 log2n, 压 缩 到 
log2n 一 ((n 十 1)/2n)log(n 十 1)。 也 就 是 说 ,信息 率 压 缩 了 ((n 十 1)/2n)log(n 十 1)。 这 是 
采用 了 上 述 压 缩编 码 方法 的 结果 ,所 付出 的 代价 是 容忍 了 1/2 的 平均 失真 。 如 果 选 取 压 
缩 更 为 有 利 的 编码 方案 ,压缩 的 效果 可 能 更 好 。 但 一 旦 超过 最 小 互信 息 这 个 极限 值 , 那 
么 失真 就 要 超过 失真 限度 D。 如 果 需 要 压缩 的 信息 率 更 大 , 则 可 容忍 的 平均 失真 就 要 
更 大 。 

4.1.3 信息 率 失真 函数 的 性 质 

1. RCD) 函 数 的 定义 域 

(1) Da 和 尽 CDan) 

由 于 DD 是 非 负 实数 d(xz,y) 的 数学 期 望 ,因此 D 也 是 非 负 的 实数 。 非 负 实 数 的 下 界 是 
零 , 即 Ds, 二 0。 至 于 失真 度 DD 是 否 能 达到 零 ,这 与 单个 符号 的 失真 函数 有 关 , 只 有 当 失 真 
矩阵 中 每 行 至 少 有 一 个 零 元 素 时 , 信 源 的 平均 失真 度 才能 达到 零 值 。 这 时 对 应 于 无 失真 情 
况 , 相 当 于 无 噪声 信道 ,此 时 信道 传输 的 信息 量 等 于 信 源 粹 , 即 

R(Dsn) = R(0) = H(X) (4-1-12) 

但 是 , 式 (4-1-12) 成 立 是 有 条 件 的 , 它 与 失真 矩阵 形式 有 关 , 只 有 当 失 真 矩 阵 中 每 行 至 
少 有 一 个 零 ,并 且 每 一 列 最 多 只 有 一 个 零 时 ,等 式 才 成 立 。 和 否则 ,R(0) 可 以 小 于 H(X), 它 
表示 这 时 信 源 符号 集中 有 些 符号 可 以 被 压缩 、 合 并 ,而 不 带 来 任何 失真 。 

对 于 连续 信 源 来 说 ,由 于 其 信 源 炉 只 有 相对 意义 ,而 真正 的 炉 为 2, 当 Ds 二 0 时 相当 
于 严格 无 噪声 信道 ,通过 无 噪声 信道 的 烂 是 不 变 的 ,所 以 

R(Dsin) = R(0) = 万 .(z) 王 ce 

因为 实际 信道 总 是 有 干扰 的 ,其 容量 有 限 , 要 无 失真 地 传送 这 种 连续 信息 是 不 可 能 的 。 

当 人 允许 有 一 定 失 真 时 ,R(D) 将 为 有 限 值 ,传送 才 是 可 能 的 。 
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(2) Dax 和 RCD ) 

由 于 I(X;Y) 是 非 负 函 数 ,而 R(D) 是 在 约束 条 件 下 的 I(X;Y) 的 最 小 值 ,所 以 R(D) 也 
是 一 个 非 负 函数 , 它 的 下 限 值 是 零 。 当 RD) 为 0, 意 味 着 不 需 传输 任何 信息 。 显 然 D 越 
大 ,直至 无 限 大 都 能 满足 这 样 的 情况 ,这 里 选择 所 有 满足 RD)=0 中 D 的 最 小 值 ,定义 为 
R(D) 定 义 域 的 上 限 Des, 即 Dmx 二 min D。 因 此 可 以 得 到 RC(D) 的 定义 域 为 DE 
[0; Ds, 1。 

RCD)=0 就 是 1(X;Y) 二 0, 这 时 试验 信道 输入 与 输出 是 互相 独立 的 ,所 以 条 件 概 率 
p(yj1zxi) 与 x; 无 关 。 即 

ps = ply; | zi) = p(y;) = ps 
这 时 平均 失真 为 
9D= py (4-1-13) 


i=1 j=1 


其 中 dy =d(assb), 现在 需要 求 出 满足 了 p= 1 条 件 的 万 中 的 最 小 值 , 妈 
Dx = min Sp, Dpa, 


从 上 式 观察 可 得 : 在 j 二 1,…,mm 中 , 可 找到 》 pid 值 最 小 的 j， 当 该 ;对 应 的 ;一 1, 而 其 
余 办 为 零 时 ,上 式 右边 达到 最 小 ,这 时 上 式 可 简化 成 
| 1 = min, pas (4-1-14) 
例 4-3 设 输入 输出 符号 表 为 XYE 10,1) ,输入 概率 分 布 zj(z) 一 {1/3,2/3} ,失真 矩 
阵 为 


本 ww dai 全- [ | 
~ Lata) dtasb)d) Li 6 
当 Das 王 0 时 ,R(Dan) 二 HH(X) 二 有 H(1/3,2/3) 二 0. 91bit/ 符 号 ,这 时 信 源 编码 器 无 失 
i“ 
真 .a 一 bwas 一 be, 所 以 该 编码 器 的 转移 概率 为 一 | | 
当 R(Dmwx) = 二 0 时 ,由 式 (4-1-14) 得 


| 上 
min{3 X0 十 村 X1, 本 X1 十 本 x9 
mi 
=min{3.3)= 3 
此 时 输出 符号 概率 p(651) 二 0,p(5s) 二 1,a1 习 bs,as 悦 bs, 所 以 这 时 的 编码 器 的 转移 概率 为 


rl, | 
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1 
例 4-4 若 输入 输出 符号 表 与 输入 概率 分 布 同 例 为 | 
2 1 


i 
当 gb ,4s>bs 时 ,该 编码 器 的 转移 概率 为 r=-|, 中 
Ee 遍 w 基 
Dain = Dplad)plb; | a dlai,b;) 人 


因为 从 失真 矩阵 看 ,不管 a; 转移 到 哪 一 种 6; ,都 产生 失真 ,所 以 使 Ds, 达 不 到 0。 这 种 情况 
只 是 一 种 特例 ,实际 应 用 中 一 般 不 会 这 样 。 
2. RCD) 函 数 的 下 上 西 性 和 连续 性 
规定 了 定义 域 之 后 ,再 证 明 R(D) 在 定义 域内 是 下 凸 的 。 
D:=aD’+(1—a)D’,0<a<1l 
RD = min Tpy) = TOp) 
其 中 pi; 是 使 1(pi;) 达 到 极 小 值 的 pi; ,上 且 保证 DD'。 同 理 : 
R(D’) = 1(p%) 
人 py =apsy+(1—a) ps 
先 证 明 好 是 Ps 的 元 。 已 知 
Dp%) 一 2 Dpipyds 
=5) DpiLapst (1— op ds 
=a2) 2 pipsdy + (1—0) 2 2 pipyds 
<aD“ 十 (1 一 ao)D' =D 
这 是 因为 py 和 坟 分 别 是 Pb 和 P% 中 的 元 ,所 以 造成 的 失真 必 小 于 D' 和 DD”。 
利用 I(ps) 的 下 凸 性 ,可 得 
R(D’) = min I(ps) 
pi EPpe 


<I(ps) 
=I[ap’%+ (1—a)ps] 
Sal(py)+ 1—oIp) 
=aR(D) + (1— RD) 
这 就 证 明了 R(D) 的 下 凸 性 。 
现在 来 证 明 R(D) 在 定义 域 0 一 Due。 之 间 的 连续 性 。 
设 D' 王 D 十 9, 当 0-~0 时 ,Pr 一 Pn， 
由 于 I(p;) 是 pi 的 连续 函数 , 即 当 6p; 一 0,. 有 
I(ps+6ps) > I(ps) 
则 RPO min py mA )=R(D) 


这 就 是 连续 性 。 
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3. R(D) 函 数 的 单调 递减 性 
R(D) 的 单调 递减 性 可 以 作 如 下 理解 : 容许 的 失真 度 越 大 ,所 要 求 的 信息 率 就 越 小 。 反 
之 亦 然 。 这 一 点 可 以 由 定义 来 证 明 。 
令 D>D', 则 Po 二 Pr 
这 一 结果 可 以 从 式 (4-1-8) Po 的 定义 式 中 得 到 。 于 是 
R(D) = min Tp < i pe 三 (BD'Y 
上 式 中 的 不 等 式 是 因为 Po 包含 了 Pr ,在 一 个 较 大 范围 内 求 得 的 极 小 值 必然 不 会 大 于 其 中 
一 个 小 范围 内 的 极 小 值 ,所 以 R(D) 是 非 递增 的 函数 。 现 在 再 证 明 上 式 中 的 等 号 不 成 立 , 用 
设 有 0<D’'<D'<Dw, 令 
R(D)=1p;), pyE Pr 
R(Dsx) = I1(ps)=0, 15E Po 
对 于 足够 小 的 a, (a 之 0), 必 有 
D’<(I—wD +aDm =D<D 


仿 py=(1—a) ps taps 

则 D(py)=(1—a)d(ps) tad(py) 
=(1—a)d(ps)+aD, =D" 

所 以 py E Pp 


R(D) = min I(py) < I(ps) 
py EPpe 


入 (1 一 ITC) +al ps) 
一 (1 一 o)T(Cb) <RD') 
可 见 RCD*) 隆 R(D')。 因 此 R(D) 是 严格 单调 递减 的 。 
综 上 所 述 ,可 以 得 出 如 下 结论 : 
。RCD) 是 非 负 的 实数 , 即 RCD) 三 0。 其 定义 域 为 0 一 Da ,其 值 为 0 一 互 CX)。 当 
D> Dw.R(D)=0. 
。 RD) 是 关于 了 D 的 下 凸 函 数 ,因而 也 是 关于 DD 的 连续 函数 。 
。R(D) 是 关于 DD 的 严格 递减 函数 。 
由 以 上 三 点 结论 ,一 般 R(D) 曲 线 的 形态 可 以 画 出 来 了 ,如 图 4-4 所 示 。 


RD) RD) 
HY 
RD) 
op Dap 0 DD 
(a) 离散 系统 (b) 连续 系统 


图 4-4 信息 率 失真 曲线 
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由 上 可 知 , 当 规 定 了 允许 失真 D, 又 找到 了 适当 的 失真 函数 di ,就 可 以 找到 该 失真 条 件 
下 的 最 小 信息 率 RC(D) ,这 个 最 小 信息 率 是 一 个 极限 数值 。 用 不 同方 法 进行 数据 压缩 时 (前 
提 是 都 不 能 超过 失真 限度 D) ,其 压缩 的 程度 如 何 ,R(D) 函 数 是 一 把 尺子 。 由 它 可 知 是 否 还 
有 压缩 潜力 ,潜力 有 多 大 。 因 此 近年 来 引起 很 多 学 者 对 它 的 兴趣 。 


4.1.4 信息 率 失真 函数 与 信道 容量 


下 面 将 信息 率 失真 函数 RCD) 与 信道 容量 C 作 一 比较 ,如 表 4-1 所 示 。 

信道 容量 定义 为 C 一 maxICX;Y)。 它 表 示 信 道 的 最 大 传输 能 力 , 反 映 的 是 信道 本 身 的 
特性 ,应 该 与 信 源 无 关 。 但 由 于 平均 互信 息 量 与 信 源 的 特性 有 关 , 为 了 排除 信 源 特性 对 信道 
容量 的 影响 ,采用 的 做 法 是 在 所 有 的 信 源 中 以 那个 能 够 使 平均 互信 息 量 达到 最 大 的 信 源 为 
参考 ,从 而 使 信道 容量 仅仅 与 信道 特性 有 关 , 信 道 不 同 ,C 也 不 同 。 

信息 率 失真 函数 RD) =minl (XY). 它 是 保 真 度 条 件 下 信 源 信息 率 可 被 压缩 的 最 低 


限度 ,反映 的 是 信 源 本 身 的 特性 ,应 该 与 信道 无 关 。 同 样 地 ,由 于 平均 互信 息 量 与 信道 的 特 
性 有 关 , 在 这 里 信道 即 为 有 失真 的 信 源 编码 器 ,为 了 排除 信 源 编码 器 的 特性 对 信息 率 失真 函 
数 的 影响 ,采用 的 做 法 是 在 所 有 的 编码 器 中 以 那个 能 够 使 平均 互信 息 量 达到 最 小 的 编码 器 
为 参考 ,从 而 使 信息 率 失真 函数 仅仅 与 信 源 特性 有 关 , 信 源 不 同 ,RCD) 也 不 同 。 

对 信道 容量 和 信息 率 失真 函数 作 这 样 处 理 是 为 引入 它们 的 目的 服务 的 。 

引入 C, 是 为 了 解决 在 所 用 信道 中 传送 的 最 大 信息 量 到 底 有 多 大 的 问题 , 它 给 出 了 信道 
可 能 传输 的 最 大 信息 量 ,是 无 差错 传输 的 上 限 。 在 第 6 章 中 将 会 看 到 ,为 了 得 到 错误 概率 任 
意 小 的 传输 ,应 该 采用 信道 编码 。 引 入 C 的 概念 后 ,说 明 其 信息 传输 速率 无 限 接近 于 C 而 
又 能 具有 任意 小 错误 传输 概率 的 信道 编码 是 存在 的 ,可 见 引 入 C 能 够 为 信道 编码 服务 ,或 
者 说 为 提高 通信 的 可 靠 性 服务 。 
引入 R(D) ,是 为 了 解决 在 允许 失真 度 D 条 件 下 , 信 源 编码 到 底 能 压缩 到 什么 程度 的 问 
题 , 它 给 出 了 保 真 度 条 件 下 信 源 信息 率 可 被 压缩 的 最 低 限 度 , 可 见 引 入 它 能 够 为 信 源 的 压缩 
编码 服务 ,或 者 说 为 提高 通信 的 有 效 性 服务 。 
表 4-1 R(D) 与 C 的 比较 


信道 容量 C 率 失真 函数 RCD) 
研究 对 象 信道 信 源 
给 定 条 件 信道 转移 概率 如 (y|z) 信 源 分 布 p(x) 
选择 参数 信 源 分 布 p(x) 信 源 编码 器 编码 方法 p(y|z) 
结论 C=maxICXY) ROD) =—minI (XsY) 
H(XIY)=H(X)—I(X;Y) 噪声 干扰 丢失 的 信息 量 编码 压缩 损失 的 信息 量 


4.2 ”离散 信 源 和 连续 信 源 的 RCD) 计 算 


已 给 定 信 源 概率 p; 和 失真 函数 di ,就 可 以 求 得 该 信 源 的 RC(D) 函 数 。 它 是 在 约束 条 
件 , 即 保 真 度 准 则 下 , 求 极 小 值 的 问题 。 但 要 得 到 它 的 显 式 表达 式 ,一 般 比较 困难 ,通常 用 参 
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量 表达 式 。 即 使 如 此 , 除 简单 的 情况 外 ,实际 计算 还 是 困难 的 ,只 能 用 和 迭代 逐 级 和 逼 近 的 方法 。 


某 些 特殊 情况 下 R(D) 的 表示 式 为 
i 和 光 
Ky 当 dr) = (ry) p= /i 六 时 ,R(D) 一 log -万 


(2) 当 dzrsy)=|z 一 y1,p(z)= 委 e171 时 ,RCD) 一 log 市 


(3) 当 d(z,y)=6(z,y) ,pr 


0)=p,p(z=1)=1—p 时 ,R(D)=H(p)—H(D) 


这 些 RCD) 可 画 成 图 4-5 的 三 条 有 曲线。 它们 都 有 一 个 最 大 失真 值 Ds ,对 应 R(D) 二 0。 
当 允 许 的 平均 失真 D 大 于 这 最 大 值 时 ,R(D) 当然 也 是 零 , 也 就 是 不 用 传送 信息 已 能 达到 要 


R(D) 


图 4-5 率 失真 函数 R(D) 


求 。 上 述 三 种 情况 的 Ds 分 别 为 ,1/4 和 p( 此 时 p 一 
1/2, 否 则 就 是 1 一 p)。 其 实 这 是 很 好 解释 的 。 例 如 ,在 
均 方 失真 和 正 态 分 布 的 第 一 种 情况 下 ,不 管 信 源 符号 是 
何 值 ,都 用 y=0 来 编码 ,此 时 平均 失真 就 是 s。Y 只 有 
一 个 值 ,当然 不 需要 传送 ,也 不 含有 信息 。 其 他 两 种 情 
况 也 有 类 似 的 结果 。 当 D 二 Ds 时 ,R(D) 就 已 不 是 零 ， 
随 着 D 的 减 小 ,R(D) 单 调 地 增加 ; 当 D=0 时 ,前 两 种 
情况 下 ,R(D) 趋 于 无 限 ,这 就 是 说 ,信息 量 无 限 大 的 连 
续 信 源 符号 ,已 无 法 进行 无 损 编码 ,除非 信息 率 R 趋向 
无 限 大 。 对 于 离散 信 源 就 不 同 , 在 第 三 种 情况 下 ,D=0 


时 ,R(0) 二 HH(p) ,这 就 是 无 损 编码 时 ,所 需 的 信息 率 不 能 小 于 信 源 的 符号 炉 。 

下 面 将 简单 介绍 参量 表达 式 方法 求解 率 失真 函数 RCD)。 具 体 推导 过 程 从 上 略 ( 参 见 文 
献 [1]) ,这 里 结合 例子 给 出 计算 步骤 。 

例 4-5 设 输入 输出 符号 表 为 X= 二 YE {0,1) ,输入 概率 分 布 p(x)==(p,1 一 p),0 二 p 志 


1/2, 失 真 矩阵 为 


求 信息 率 失真 函数 R(D)。 


do) da | | ,| 
d(azssb) dl(a;,b,) 


1 0 


解 : 简 记 X;=A(zi) ,pi=p(zi) ,w=p(yj) ,a=e’,i,j=1,2 


(1) 按 下 式 解 方程 


Dr) plr)expLsd (xisy)] = 1, j= 1,,m 


[Lo oo]| 。 “| [1 到 


写成 矩阵 形式 
由 此 解 得 

pi p22 
(2) 按 下 式 解 方程 


Dp Cy;)exp[sd (zi,y;)] 二 
' 


LM 
a 


1 1 
p+o)’” ®? (p(t+ao) 


1 
ACzi)” 
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写成 矩阵 形式 


解 得 


1 1 a 1 
wi (2 二 [p—a(l—p)] 


1 1 a 1 
wa 关公 be w= 
(3) 按 下 式 得 转移 概率 分 布 ps 


ps = A(zi) p(y;)exp[Lsd (zisy))], i= 1,.nj = 1,°m 


’ nk ed 把 ) 1—p—ap, 
l p p 
1 一 “|2 一 ad 一 六 。 1-p-ap 
1 一 户 1—p 


用 一 


(4) 求 s(s==loga) 


9D= Dpipsds = pipudun tt piprdiz tt papada + pz pozd22 


二 [ed p—apt+a(p—a(l—p))] < 


1 l+a 


= _ 因 
DT 


s = loga = logD— log(l1—D) 
(5) 计算 R(D) ,将 上 面 各 式 代 入 , 则 有 
R(D) =sD 十 >) 记 ilogh 


1 
dr 


Dlog -LF + plog 六 


1 
力 (1 十 a) 


一 Dlog 


D = 
TD5+HD)— log(l+o) 


D 1 
=Dlog 1—5 log 1 一 万 十 五 (2) 


=DlogD+ (1—D)log(1—D)+H(p) 
结果 得 到 如 图 4-6 所 示 的 曲线 ,其 表达 式 为 


H(p)— H(D), 0<D<p< 
R(D) = 


0， Dp 
上 述 计 算 过 程 实质 上 第 (1)、(2) 步 是 解 简单 的 线性 方程 组 ,第 (3)、(4)、(5) 步 则 是 代入 整理 。 
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R(D)/bit 


图 4-6 R(D)==H(p) 一 H(D),p 为 参数 


本 童 讨论 了 离散 消息 的 失真 函数 和 信息 率 失真 函数 ,同时 对 连续 消息 也 做 了 相应 的 讨 
论 。 在 实际 应 用 中 ,符合 实际 信 源 的 RGD) 函数 的 计算 相当 困难 。 首 先 , 需 要 对 实际 信 源 的 
统计 特性 有 确切 的 数学 描述 ; 其 次 ,需要 对 符合 主 、 客 观 实际 的 失真 给 予 正确 的 度量 ,否则 
不 能 求 得 符合 主客 观 实际 的 R(D) 函 数 。 率 失真 函数 是 研究 限 失真 信 源 编码 定理 的 基础 。 

0， Ti= yj 


失真 函数 d(xz;,y;j) 一 
ara>0, 天 省 


平均 失真 D = 3 Dp, ,bi )d (ai,b;) 
信息 率 失真 函数 R(D): 给 定 信 源 p(xi) ,在 小 于 平均 失真 D 中 寻找 一 种 信 源 编码 p;;， 
使 互信 息 I(X;Y) 达 到 最 小 。 
RCD) = minl(X;Y), Po = (plb, lad:DED i=1,2,.n37 = 1,29°% mm} 
RC(D) 函 数 的 定义 域 : 
Duan = 0,R(Dsn) = R(O0) = H(X) 
Dx = AinD, R(Dwwx) = 0 
R(D) 函 数 的 性 质 : 下 凸 性 、 连 续 性 ,单调 递减 性 。 
R(D) 与 C 具 有 对 偶 关系 。 


习题 


4-1 设 有 一 个 二 元 等 概率 信 源 XE1{0,1} ,po 二 pi 一 1/2, 通 过 一 个 二 进 制 对 称 信道 
(BSC)。 其 失真 函数 di 与 信道 转移 概率 Pj; 分 别 定义 为 
i 半 关 es i 
二 二 站 二 
0，i 一 了 1 一 si i= 


试 求 失真 矩阵 d 和 平均 失真 D 。 
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4-2 ” 设 输 入 符号 表示 为 XE10,1}) ,输出 符号 表示 为 YE {0,1)。 输 入 信号 的 概率 分 布 
为 P=(1/2,1/2) ,失真 函数 为 d(0,0)=d(1,1)= 王 0,d(0,1)=1,d(1,0) 一 2。 试 求 Du、 
Das 和 尽 IDus)、RCDa) 以 及 相应 的 编码 器 转移 概率 矩阵 。 

4-3 设 输入 符号 与 输出 符号 X 和 YY 均 取 值 于 {0,1,2,3}, 且 输入 信号 的 分 布 为 
p(X= 让 =1/4,i==0,1,2,3, 设 失真 矩阵 为 


0 1 
1 0 
证 一: 
| 
1 


请 口上 于 
-i 


1 
求 Dwn、Dmax 和 RCDwin) RDas) 以 及 相应 的 编码 器 转移 概率 矩阵 。 


4-4 设 输入 信号 的 概率 分 布 为 PP= (1/2,1/2), 失 真 矩阵 为 “| 


Drin、Dmax 和 RCDwia) 、R(Dssx) 以 及 相应 的 编码 器 转移 概率 矩阵。 

4-5 ”具有 符号 集 U== {wo ,wu} 的 二 元 信和 源 , 信 源 发 生 概率 为 : pu) 一 记忆 (ua ) 一 1 一 
p(0 二 p 三 1/2)。Z 信道 如 图 4-7 所 示 ,接收 符号 集 V = 二 {vo ,wi) ,转移 概率 为 : gCvo1uo) 二 1， 
quola) 王 1 一 4。 发 出 符号 与 接收 符号 的 失真 : d(wo ,v0) 二 dl ,v1) 二 0,d(w ,v0) 二 d (wo， 
v1)=1。 

(1) 计算 平均 失真 D; 

(2) 率 失真 函数 R(D) 的 最 大 值 是 什么 ? 当 g 为 何 值 时 可 达到 该 最 大 值 ? 此 时 平均 失 
真 DD 是 多 大 ? 

(3) 率 失真 函数 R(D) 的 最 小 值 是 什么 ? 当 g 为 何 值 时 可 达到 该 最 小 值 ? 此 时 平均 失 
真 D 是 多 大 ? 

(4) 面 出 RC(D)-D 的 曲线 。 

4-6 已 知 信 源 的 符号 XE {0,1) ,它们 以 等 概率 出 现 , 信 宿 的 符号 YE {0,1,2} ,失真 丽 
数 如 图 4-8 所 示 , 其 中 连 线 旁 的 值 为 失真 函数 ,无 连 线 表示 失真 函数 为 无 限 大 , 即 4(0,1) 王 
d(1,0) 王 co,( 同 时 有 PCy lzo) 王 PCylzi)=0), 求 RD) 。 


0 1 1/4 


iT- 交 ol 汪汪 


Xx 人 
0 

0 0 

1 

1 

wo vo 

uu " I 

1 | 

1-9 1 
图 4-7 习题 4-5 图 图 4-8 习题 4-6 图 


4-7 三 元 信 源 的 概率 分 别 为 P(0)==0.4,P(1)==0.4,P(2)==0.2, 失 真 函数 必 为 : 当 
i 二 j 时 ,dj 二 0; 当 i 关 j 时 ,dj 二 1(i,j 二 0,1,2), 求 信息 率 失真 函数 R(D)。 

4-8 ”利用 RD) 的 性 质 , 画 出 一 般 RCD) 的 曲线 并 说 明 其 物理 意义 。 试 问 为 什么 RCD) 
是 非 负 且 非 增 的 ? 
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前 面 介绍 了 信 源 炉 和 信息 率 失真 函数 的 概念 ,了 解 了 传送 信 源 信息 只 需要 具有 信 源 极 
限 箭 或 信息 率 失真 函数 大 小 的 信息 率 。 但 是 在 实际 通信 系统 中 ,用 来 传送 信 源 信息 的 信息 
率 远 大 于 这 些 , 那 么 是 否 能 够 达到 或 接近 像 信 源 炉 或 率 失真 函数 这 样 的 最 小 信息 率 , 这 就 是 
编码 定理 要 回答 的 问题 之 一 。 编 码 分 为 信 源 编码 和 信道 编码 ,其 中 信 源 编码 又 分 为 无 失真 
和 限 失 真 。 由 于 这 些 定理 都 要 求 符 号 数 很 大 才能 使 它 的 值 接近 所 规定 的 值 , 因 而 这 些 定理 
被 称 为 极限 定理 。 一 般 称 无 失真 信 源 编码 定理 为 第 一 极限 定理 ; 称 信道 编码 定理 (包括 离 
散 和 连续 信道 ) 为 第 二 极限 定理 ; 称 限 失真 信 源 编码 定理 为 第 三 极限 定理 。 完 善 这 些 定理 
是 香农 信息 论 的 主要 内 容 。 下 面 分 别 讨论 这 三 大 定理 。 

由 于 信 源 符号 之 间 存 在 分 布 不 均匀 和 相关 性 ,使 得 信 源 存在 元 余 度 , 信 源 编码 的 主要 任 
务 就 是 减少 元 余 , 提 高 编码 效率 。 具 体 来 说 ,就 是 针对 信 源 输出 符号 序列 的 统计 特性 ,寻找 
一 定 的 方法 把 信 源 输出 符号 序列 变换 为 最 短 的 码 字 序列 。 信 源 编码 的 基本 途径 有 两 个 : 使 
序列 中 的 各 个 符号 尽 可 能 地 互相 独立 , 即 解除 相关 性 ; 使 编码 中 各 个 符号 出 现 的 概率 尽 可 
能 地 相等 , 即 概率 均匀 化 。 

信 源 编码 的 基础 是 信息 论 中 的 两 个 编码 定理 : 无 失真 编码 定理 和 限 失 真 编码 定理 。 前 
者 是 可 逆 编 码 的 基础 。 可 逆 是 指 当 信 源 符号 转换 成 代码 后 ,可 从 代码 无 失真 地 恢复 原 信 源 
符号 。 当 已 知 信 源 符号 的 概率 特性 时 ,可 计算 它 的 符号 炉 , 即 每 个 信 源 符号 所 载 有 的 信息 
量 。 编 码 定理 不 但 证 明了 必定 存在 一 种 编码 方法 ,使 代码 的 平均 长 度 可 任意 接近 但 不 能 低 
于 符号 炉 ,而 且 还 曾 明 达到 该 目标 的 途径 ,就 是 使 概率 与 码 长 匹配 。 无 失真 编码 或 可 道 编码 
只 适用 于 离散 信 源 。 对 于 连续 信 源 , 编 成 代码 后 就 无 法 无 失真 地 恢复 原来 的 连续 值 , 因 为 后 
者 的 取 值 可 有 无 限 多 个 。 此 时 只 能 根据 率 失真 编码 定理 在 失真 受 限 制 的 情况 下 进行 限 失真 
编码 。 信 源 编码 定理 出 现 后 ,编码 方法 就 趋 于 合理 化 。 本 章 讨论 离散 信 源 编码 ,首先 从 无 失 
真 编码 定理 出 发 ,讨论 香农 码 ,然后 介绍 限 失真 编码 定理 ,最 后 简单 介绍 一 些 常用 的 信 源 编 
码 方法 。 
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5.1 编码 的 概念 


将 信 源 消息 分 成 若干 组 , 即 符号 序列 ,x 一 Cz sa ss) 序列 中 的 每 个 符 
号 取 自 于 符号 集 A,za Etaaz aa)。 而 每 个 符号 序列 x; 依照 固定 的 码 表 映 射 
成 一 个 码 字 y; ,这 样 的 码 称 为 分 组 码 , 有 时 也 叫 块 码 。 只 有 分 组 码 才 有 对 应 的 码 表 , 而 非 分 
组 码 中 则 不 存在 码 表 。 

如 图 5-1 所 示 ,如果 信 源 输出 的 符号 序列 长 度 工 ==1, 信 源 符号 集 为 A= (ai ,as，… ,a,) 
信 源 概率 空间 为 


= 了 
x a a 六 浙 | “| 编码 器 | ~| 信道 
[sj]- me plaz) ~ pa 二 


需要 将 这 样 的 信 源 符号 传输 。 常 用 的 一 种 信道 就 是 二 元 信 
道 , 它 的 信道 基本 符号 集 为 {0,1}。 若 将 信 源 X 通过 这 样 的 ”图 5-1 信 源 编码 器 示意 图 
二 元 信道 传输 ,就 必须 把 信 源 符号 w 变换 成 由 0、1 符号 组 
成 的 码 符号 序列 ,这 个 过 程 就 是 信 源 编码 。 可 用 不 同 的 码 符号 序列 ,如 表 5-1 所 列 。 

表 5-1 码 的 不 同属 性 


信 源 符号 a 符号 出 现 概率 p(a;) 码 1 码 2 码 3 码 4 码 5 
a 1/2 00 0 0 1 | 
az 1/4 01 11 10 10 01 
as 1/8 10 00 00 100 001 


a 1/8 11 11 01 1000 0001 


一 般 情况 下 , 码 可 分 为 两 类 : 一 类 是 固定 长 度 的 码 , 码 中 所 有 码 字 的 长 度 都 相同 , 如 
表 5-1 中 的 码 1 就 是 定 长 码 。 另 一 类 是 可 变 长 度 码 , 码 中 的 码 字 长 短 不 一 ,如 表 5-1 中 的 其 
他 码 都 是 变 长 码 。 

采用 分 组 编码 方法 ,需要 分 组 码 具有 某 些 属 性 ,以 保证 在 接收 端 能 够 迅速 准确 地 将 码 译 
出 。 下 面 首先 讨论 分 组 码 的 一 些 直 观 属性 。 

(1) 奇异 码 和 非 奇异 码 

若 信 源 符号 和 码 字 是 一 一 对 应 的 , 则 该 码 为 非 奇 异 码 。 反 之 为 奇异 码 。 如 表 5-1 中 的 
码 2 是 奇异 码 , 码 3 是 非 奇异 码 。 

(2) 唯一 可 译 码 

任意 有 限 长 的 码 元 序列 ,只 能 被 唯一 地 分 割 成 一 个 个 的 码 字 , 便 称 为 唯一 可 译 码 。 例 如 
{0,10,11}) 是 一 种 唯一 可 译 码 。 因 为 任意 一 串 有 限 长 码 序列 ,如 100111000, 只 能 被 分 割 成 
10,0,11,10,0,0。 任 何其 他 分 割 法 都 会 产生 一 些 非 定义 的 码 字 。 显 然 , 奇 异 码 不 是 唯一 可 
译 码 ,而 非 奇异 码 中 有 非 唯 一 可 译 码 和 唯一 可 译 码 。 表 5-1 中 码 4 是 唯一 可 译 码 ,但 码 3 不 
是 唯一 可 译 码 。 例 如 10000100 是 由 码 3 的 (10,0,0,01,00) 产 生 的 码 流 , 译 码 时 可 有 多 种 分 
割 方法 ,如 10,0,00,10,0, 此 时 就 产生 了 歧义 。 


94 


信息 论 与 编码 ( 第 3 版 ) 


(3) 非 即时 码 和 即时 码 

唯一 可 译 码 中 又 分 为 非 即 时 码 和 即时 码 。 如 果 接 收 端 收 到 一 个 完整 的 码 字 后 ,不 能 立 
即 译 码 ,还 需 等 下 一 个 码 字 开始 接收 后 才能 判断 是 否 可 以 译 码 , 这 样 的 码 称 为 非 即时 码 。 
表 5-1 中 码 4 是 非 即时 码 ,而 码 5 是 即时 码 。 码 5 中 只 要 收 到 符号 1 就 表示 该 码 字 已 完整 ， 
可 以 立即 译 码 。 即 时 码 又 称 为 非 延 长 码 , 任 意 一 个 码 字 都 不 是 其 他 码 字 的 前 缀 部 分 ,有 时 称 
为 异 前 缀 码 。 在 延长 码 中 ,有 的 码 是 唯一 可 译 的 ,主要 取决 于 码 的 总 体 结构 ,如 表 5-1 中 码 
4 的 延长 码 就 是 唯一 可 译 的 。 

综 上 所 述 ,可 将 码 作 如 下 分 类 : 


非 分 组 码 
| 奇异 码 
分 组 码 非 唯 一 可 译 码 
非 奇 异 码 _ 非 即时 码 
唯一 可 详 码 


即时 码 ( 非 延长 码 ) 


通常 可 用 码 树 来 表示 各 码 字 的 构成 。 对 于 m 进 制 的 码 树 ,如 图 5-2 所 示 。 图 5-2(a) 是 
二 进 码 树 ,图 5-2(b) 是 三 进 码 树 。 其 中 A 点 是 树 根 ,分 成 m 个 树枝 , 则 称 为 m 进 码 树 。 树 
枝 的 尽头 是 节点 ,中 间 节 点 生出 树枝 ,终端 节点 安排 码 字 。 码 树 中 自 根部 经 过 一 个 分 枝 到 达 
7i 个 节点 称 为 一 级 节点 。 二 级 节点 的 可 能 个 数 为 ze 个 ,一 般 级 节点 有 zz 个。 图 5-2(a) 
的 码 树 是 4 节 , 有 2 一 16 个 可 能 的 终端 节点 。 若 将 从 每 个 节点 发 出 的 m 个 分 枝 分 别 标 以 
0,1,…,m 一 1, 则 每 个 7 级 节点 需要 用 7 个 m 元 数字 表示 。 如 果 指 定 某 个 7 级 节点 为 终端 
节点 表示 一 个 信 源 符号 , 则 该 节点 就 不 再 延伸 ,相应 的 码 字 即 为 从 树 根 到 此 端点 的 分 枝 标 号 
序列 ,其 长 度 为 -。 这 样 构造 的 码 满足 即时 码 的 条 件 。 因 为 从 树 根 到 每 一 个 终端 节点 所 走 
的 路 径 均 不 相同 , 故 一 定 满足 对 前 级 的 限制 。 如 果 有 gq 个 信 源 符号 ,那么 在 码 树 上 就 要 选择 
g 个 终端 节点 ,用 相应 的 m 元 基本 符号 表示 这 些 码 字 。 由 这 样 的 方法 构造 出 来 的 码 称 为 树 
码 , 若 树 码 的 各 个 分 支 都 延伸 到 最 后 一 级 端点 ,此 时 将 共有 zz 个 码 字 , 这 样 的 码 树 称 为 满 
树 , 如 图 5-2(a) 所 示 。 和 否则 就 称 为 非 满 树 ,如 图 5-2(b) 所 示 , 这 时 的 码 字 就 不 是 定 长 的 了 。 
总 结 上 述 关于 码 树 和 码 字 的 对 应 关系 ,可 得 到 如 图 5-3 所 示 的 关系 图 。 


(a) 二 进 码 树 (b) 三 进 码 树 
图 5-2 码 树 图 


用 树 的 概念 可 导出 唯一 可 译 码 存在 的 充分 和 必要 条 件 , 即 各 码 字 的 长 度 K; 应 符合 克 
劳 夫 特 不 等 式 (Kraft’s inequality) , 即 
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全 机 树 根 一 “~ 码 字 的 起 点 
2 SL 《05 1 树枝 数 一 一 码 的 进 制 数 
其 中 mm 是 进 制 数 ,n 是 信 源 符号 数 。 节点 一 一 码 字 或 码 字 的 一 部 分 


终端 节点 一 一 = 码 字 


上 述 不 等 式 是 唯一 可 译 码 存 在 的 充 要 条 件 ,必要 性 节 数 一 = 码 长 
表现 在 如 果 是 唯一 可 译 码 , 则 必定 满足 该 不 等 式 ,如 表 “。 非 满 村 一 一 变 长 码 
5-1 中 的 码 1\ 码 4 和 码 5 等 都 满足 不 等 式 ; 充分 性 表 。 潜入 长 码 
现在 如 果 满 足 不 等 式 , 则 这 种 码 长 的 唯一 可 译 码 一 定 。 “图 553 码 树 与 码 字 对 应 关系 图 
存在 ,但 并 不 表示 所 有 满足 不 等 式 的 码 一 定 是 唯一 可 
译 码 。 所 以 说 ,该 不 等 式 是 唯一 可 译 码 存在 的 充 要 条 件 , 而 不 是 唯一 可 译 码 的 充 要 条 件 。 
例 5-1 用 二 进 制 对 符号 集 {a1 as ,as ar) 进行 编码 ,对 应 的 码 长 分 别 为 Ki==1, Ks 二 2， 
Ks 二 2,K4 二 3, 应 用 式 (5-1-1) 判 断 


: 9 
D2 = 271+27 十 2 了 7 十 2 >1 
iel 8 


因此 不 存在 满足 这 种 K; 的 唯一 可 译 码 。 可 以 用 树 码 进 行 检查 ,由 图 5-4 所 示 , 要 形成 上 述 

码 字 ,必然 在 中 间 节 点 放置 码 字 , 若 符号 ww 用 “0” 码 ,符号 as 用 "10? 码 ,符号 os 用 “11” 码 ， 
110 tl1 则 符号 as 只 能 是 符号 os 或 os 所 编码 的 延长 码 。 

如 果 将 各 码 字 长 度 改 成 Ki 二 1,K,= 二 2,Ks 二 3,K 二 3, 则 此 时 


D228 一 2 十 2 十 2 十 23 一 1 
这 种 K; 的 唯一 可 译 码 是 存在 的 ,如 {0,10,110,111}。 但 是 必须 注 
意 , 克 劳 夫 特 不 等 式 只 是 用 来 说 明 唯 一 可 译 码 是 否 存在 ,并 不 能 作 
图 54 树 码 ”为 唯一 可 译 码 的 判 据 。 如 码 字 {0,10,010,111) ,虽然 满足 克 劳 夫 特 
不 等 式 , 但 它 不 是 唯一 可 译 码 。 


5.2 无 失真 信 源 编码 定理 


若 信 源 输出 符号 序列 的 长 度 工 三 1, 即 
X= (XI Xa, Ki Ki), XI E {arsasr radi san) 
变换 成 由 Ki 个 符号 组 成 的 码 序列 (有 时 也 叫做 码 字 ,以 下 均 用 码 字 来 叙述 )。 
Y= (Yi,Y2 ,Ye )， Ye € {bb ,bis Dn) 
变换 的 要 求 是 能 够 无 失真 或 无 差错 地 从 Y 恢复 XX, 也 就 是 能 正确 地 进行 反 变 换 或 译 码 ,同时 
希望 传送 了 时 所 需要 的 信息 率 最 小 。 由 于 Y 可 取 种 可 能 值 , 即 平均 每 个 符号 输出 的 最 
大 信息 量 为 logm ,Ki 长 码 字 的 最 大 信息 量 为 Kilogm。 用 该 码 字 表示 工 长 的 信 源 序列 , 则 


送出 一 个 信 源 符号 所 需要 的 信息 率 平均 为 有 一 分 logm 一 二 logM, 其 中 M 一 mt 是 Y 所 能 


编 成 的 码 字 的 个 数 。 所 谓 信息 率 最 小 ,就 是 找到 一 种 编码 方式 使 全 :logm 最 小 。 然 而 上 述 


最 小 信息 率 为 多 少时 ,才能 得 到 无 失真 的 译 码 ? 若 小 于 这 个 信息 率 是 否 还 能 无 失真 地 译 码 ? 
这 就 是 无 失真 信 源 编码 定理 要 研究 的 内 容 。 在 无 失真 的 信 源 编码 定理 中 相应 的 有 定 长 编码 
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定理 和 变 长 编码 定理 ,下 面 分 别 加 以 讨论 。 
5.2.1 定 长 编码 


在 定 长 编码 中 ,K 是 定 值 ,上 且 KK 二 Ki。 编码 的 目的 是 寻找 最 小 值 。 要 实现 无 失真 的 
信 源 编码 ,不 但 要 求 信 源 符号 X; ,i 一 1,2,…,g 与 码 字 Yi; ,i 一 1,2,…,g 是 一 一 对 应 的 ,而 且 
还 要 求 由 码 字 组 成 的 码 符号 序列 的 逆 变 换 也 是 唯一 的 。 也 就 是 说 ,由 一 个 码 表 编 出 的 任意 
一 串 有 限 长 的 码 符号 序列 只 能 被 唯一 地 译 成 所 对 应 的 信 源 符号 序列 。 

定 长 编码 定理 : 由 工 个 符号 组 成 的 .每 个 符号 的 焙 为 Hi(X) 的 无 记忆 平稳 信 源 符号 序 
列 Xi ,XXX 可 用 开 : 个 符号 Zi,Ys ,YYk (每 个 符号 有 m 种 可 能 值 ) 
进行 定 长 编码 。 对 任意 二 0,6 二 0, 只 要 


全 logm > HO) +e (5-2-1) 
则 当 工 足够 大 时 , 必 可 使 译 码 差 错 小 于 6; 反之 , 当 
Flogm < Hi 0 —2e (5-2-2) 


时 , 译 码 差错 一 定 是 有 限 值 ,而 当 工 足够 大 时 , 译 码 几乎 必定 出 错 。 
这 个 定理 的 前 一 部 分 是 正定 理 ,后 一 部 分 为 逆 定 理 。 定 理 证 明 略 。 
上 述 编码 定理 说 明 , 当 编 码 器 容许 的 输出 信息 率 ,也 就 是 当 每 个 信 源 符号 所 必须 输出 的 
人 码 长 是 
K= 全 oem {5-2-3) 


时 ,只 要 一 Hi(X) ,这 种 编码 器 一 定 可 以 做 到 几乎 无 失真 ,也 就 是 接收 端的 译 码 差错 概率 
接近 于 零 ,条 件 是 所 取 的 符号 数 工 足够 大 。 
将 上 述 定理 的 条 件 式 (5-2-1) 改 写成 
Kilogm > LHL(X) = H(X) (5-2-4) 
上 式 大 于 号 左边 为 Ki 长 码 字 所 能 携带 的 最 大 信息 量 , 右 边 为 工 长 信 源 序列 携带 的 信 
息 量 。 于 是 上 述 定理 表明 ,只 要 码 字 所 能 携带 的 信息 量 大 于 信 源 序列 输出 的 信息 量 , 则 可 以 
使 传输 几乎 无 失真 ,当然 条 件 是 工 足够 大 。 
反之 , 当 KK 二 Hi(X) 时 ,不 可 能 构成 无 失真 的 编码 ,也 就 是 不 可 能 做 一 种 编码 器 ,能 使 
接收 端 译 码 时 差错 概率 趋 于 零 。 当 下 二 Hi (X) 时 , 则 为 临界 状态 ,可 能 无 失真 ,也 可 能 有 
失真 。 
例如 , 某 信 源 有 8 种 等 概率 符号 ,L==1, 信 源 序列 炉 达到 最 大 值 
Hi(X) 二 logs8 二 3bit/ 符号 
即 该 信 源 符号 肯定 可 以 用 3bit 的 信息 率 进 行 无 失真 的 编码 。 这 就 是 说 ,如 果 采 用 二 进 制 符 
号 作为 码 字 输出 符号 ,Y, E10,1), 则 用 3 个 bit 就 可 以 表示 一 个 符号 , 即 ==3bit/ 符 号 = 
Hi(X)。 当 信 源 符号 输出 概率 不 相等 时 ,如 p(a;) 二 {0.4,0. 18,0.1,0.1,0.07,0.06,0.05， 
0.04), 则 此 时 HiCX) 二 2.55bit/ 符 号 ,小 于 3bit。 按 常理 ,8 种 符号 一 定 要 用 3bit(23 一 8) 组 
成 的 码 字 表示 才能 区 别 开 来 ,而 用 二 Hi(X) 二 2. 55bit/ 符 号 来 表示 ,只 有 2*” 二 5. 856 种 
可 能 码 字 , 还 有 部 分 符号 没有 对 应 的 码 字 , 信 源 一 旦 出 现 这 些 符号 ,就 只 能 用 其 他 码 字 替代 ， 
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因而 引起 差错 。 差 错 发 生 的 可 能 性 就 取决 于 这 些 符号 出 现 的 概率 。 当 工 足 够 大 时 ,有 些 符 
号 序列 发 生 的 概率 变 得 很 小 ,使 得 差错 概率 达到 足够 小 。 

设 二 (za ,Ti ，… ,Ti ，"… ,Xi ) 是 信 源 序列 的 样本 矢量 ,zx E (aaz， ai,… sas) , 则 
共有 nr 种 样本 ,把 它 分 为 两 个 互补 的 集 A. 和 As, 集 A. 中 的 元 素 ( 样 本 矢量 ) 有 与 之 对 应 的 
不 同 码 字 ,而 集 As 中 的 元 素 没有 对 应 的 输出 码 字 ,因而 会 在 译 码 时 发 生 差错 。 如 果 允 许 一 
定 的 差错 9, 则 编码 时 只 需 对 属于 A. 中 的 Me 个 样本 矢量 赋 以 相应 的 不 同 码 字 , 即 输出 码 字 
的 总 个 数 m* 只 要 大 于 Me 就 可 以 了 。 在 这 种 编码 方式 下 ,差错 概率 P。 即 为 集 A5 中 元 素 
发 生 的 概率 p(Ar) ,此 时 要 求 p(A5) 三 6, 因而 AS 集中 的 样本 都 应 是 小 概率 事件 。 当 工 增 
大 时 ,虽然 样本 数 也 随 着 增多 ,但 小 概率 事件 的 概率 将 更 小 ,有 望 使 (As) 更 小 。 根 据 切 比 
雪夫 不 等 式 可 推 得 (推导 从 略 , 见 参考 文献 [1]) 
o(X) 

Le’ 
式 中 必 (X) 二 EE{[I(x;) 一 H(X)]) 为 信 源 序列 的 自信 息 方差 ,e 为 一 正 数 。 当 o2(X) 和 和 均 


P.< 


(5-2-5) 


为 定 值 时 ,只 要 工 足够 大 ,P, 可 以 小 于 任 一 正 数 8, 即 全 和 <8, 也 就 是 当 信 源 序列 长 度 L 
满足 
o(X) 
L> 二 二 (5-2-6) 
时 ,就 能 达到 差错 率 要 求 。 


说 得 具体 一 些 , 就 是 给 定 e 和 6 后 ,用 式 (5-2-6) 规 定 了 L 的 大 小 ,计算 所 有 可 能 的 信 源 
序列 样本 矢量 的 概率 p(x;) , 按 概率 大 小 排列 ,选用 概率 较 大 的 x; 作为 A。 中 的 元 素 ,直到 
P(Ae) 宇 1 一 60, 使 p(Af) 二 9。 这 些 在 A。 中 的 元 素 分 别 用 不 同 码 字 来 代表 ,就 完成 了 编码 过 
程 。 如 果 取 足够 小 的 $, 就 可 几乎 无 差错 地 译 码 ,而 所 需 的 信息 率 就 不 会 超过 Hi CX) 十 e。 

在 连续 信 源 的 情况 下 ,由 于 信 源 的 信息 量 趋 于 无 限 , 显 然 是 不 能 用 离散 符号 序列 来 
完成 无 失真 编码 的 ,而 只 能 进行 限 失真 编码 。 

定义 


_ HL(X) 
和 


为 编码 效率 。 即 信 源 的 平均 符号 焙 为 H(X) ,采用 平均 符号 码 长 为 天 来 编码 所 得 的 效率 。 
编码 效率 总 是 小 于 1, 且 最 佳 编码 效率 为 


_ H.(X) 
7 HX) 


编码 定理 从 理论 上 曾 明 了 编码 效率 接近 1 的 理想 编码 器 的 存在 性 , 它 使 输出 符号 的 信 
息 率 与 信 源 粹 之 比 接近 于 1, 即 


+e, ee 二 0 (5-2-7) 


HX) 1 (5-2-8) 


Tlogm 
但 要 在 实际 中 实现 ,必须 取 无 限 长 (L 一 c2) 的 信 源 符号 进行 统一 编码 。 这 样 做 实际 上 是 不 
可 能 的 , 因 工 非常 大 ,无 法 实现 。 下 面 用 例子 来 说 明 。 
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例 5-2 ” 设 离散 无 记忆 信 源 概率 空间 为 
[z= | aa az as as as as ar as | 
全 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04 


H(X) = 一 > ) 思 logp = 2.55bit/ 符号 
对 信 源 符号 采用 定 长 二 元 编码 ,要 求 编码 效率 为 /一 90% , 若 取 工 =1, 则 可 算出 
K = 2.55 二 90% 二 2.8bit/ 符号 ， 228 一 6.96 种 
即 每 个 符号 用 2. 8bit 进行 定 长 二 元 编码 ,共有 6. 96 种 可 能 性 ,即使 按 7 种 可 能 性 来 算 , 信 源 
符号 中 就 有 一 种 符号 没有 对 应 的 码 字 , 取 概 率 最 小 的 as ,差错 概率 为 0.04, 显 然 太 大 。 现 采 
用 式 (5-2-7) 


信 源 为 


__ HX) 
i 5 


可 以 得 到 ==0.28 
信 源 序列 的 自信 息 方差 为 


P(X) = D[ICz)] = Dp; (logp)2: 一 [LHCX)] = 7.82 (bib? 


若 要 求 译 码 错误 概率 6<10““ ,由 式 (5-2-6) 得 
CCX) -7.82 
ec 0.28 X10 
由 此 可 见 , 在 对 编码 效率 和 译 码 错误 概率 的 要 求 并 不 十 分 苛刻 的 情况 下 ,就 需要 工 一 10* 个 
信 源 符号 一 起 进行 编码 ,这 对 存储 或 处 理 技术 的 要 求 太 高 ,目前 还 无 法 实现 。 
如 果 用 3bit 来 对 上 述 信 源 的 8 个 符号 进行 定 长 二 元 编码 ,一 1, 则 天 一 妃 (X) 十 es 一 3， 
可 以 求 得 s=0.45。 此 时 译 码 无 差错 , 即 3 二 0。 在 这 种 情况 下 , 式 (5-2-6) 就 不 适用 了 。 但 


此 时 编码 效率 只 能 为 y= 一 85%。 因 此 一 般 来 说 , 当 LL 有 限时 ,高 传输 效率 的 定 长 码 往 
往 要 引入 一 定 的 失真 和 错误 , 它 不 像 变 长 码 那样 可 以 实现 无 失真 编码 。 
5.2.2 变 长 编码 


在 变 长 编码 中 , 码 长 K 是 变化 的 ,可 根据 信 源 各 个 符号 的 统计 特性 ,如 概率 大 的 符号 用 
短 码 ,如 例 5-2 中 的 ai .as 可 用 1 或 2bit, 而 对 概率 小 的 w .as 用 较 长 的 码 , 这 样 在 大 量 信 源 
符号 编 成 码 后 ,平均 每 个 信 源 符号 所 需 的 输出 符号 数 就 可 以 降低 ,从 而 提高 编码 效率 。 下 面 
分 别 给 出 单个 符号 (二 1) 和 符号 序列 的 变 长 编码 定理 。 

单个 符号 变 长 编码 定理 : 若 离 散 无 记忆 信 源 的 符号 炉 为 H(X) ,每 个 信 源 符号 用 
进 制 码 元 进行 变 长 编码 ,一 定 存 在 一 种 无 失真 编码 方法 ,其 码 字 平均 长 度 KK 满足 下 列 不 
等 式 


= 9.8 X10’ ~ 10 


了 之 


H(X) 去 并 一 H(X) 
logm logm 


离散 平稳 无 记忆 序列 变 长 编码 定理 : 对 于 平均 符号 炉 为 Hi (X) 的 离散 平稳 无 记忆 信 


a! (5-2-9) 
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源 , 必 存在 一 种 无 失真 编码 方法 ,使 平均 信息 率 满足 不 等 式 
HL.(X)<K<= HX)+e (5-2-10) 
其 中 * 为 任意 小 正 数 。 
可 从 式 (5-2-9) 推 出 式 (5-2-10)。 设 用 m 进 制 码 元 作 变 长 编码 ,序列 长 度 为 工 个 信 源 
符号 , 则 由 式 (5-2-9) 可 以 得 到 平均 码 字 长 度 Ki 满足 下 列 不 等 式 


LHL(X) <E<t ri 
logm logm 
已 知 平均 输出 信息 率 为 
并 二 天 < 
天 一 I logm 


则 H.R<HL N+ 


logm 


当 二 足够 大 时 ,可 使 :8 一 <, 这 就 得 到 了 式 (5-2-10)。 
用 变 长 编码 来 达到 相当 高 的 编码 效率 ,一 般 所 要 求 的 符号 长 度 工 可 以 比 定 长 编码 小 得 
多 。 从 式 (5-2-10) 可 得 编码 效率 的 下 界 : 


_ H.W) 
2 K 


HL(X) 


I 
HX) + 8 


(5-2-11) 


例如 用 二 进 制 ,m 二 2,logsm 三 1, 仍 用 前 面 的 例 5-2,H(X) 二 2.55bit/ 符 号 ,车 要 求 790%， 
则 


2.55 0g 二 = Lg 
2.55 十 


7 0.28 
L 
就 可 以 了 。 
编码 效率 总 是 小 于 1, 可 以 用 它 来 衡量 各 种 编码 方法 的 优 劣 。 另 外 ,为 了 衡量 各 种 编码 
方法 与 最 佳 码 的 差距 ,定义 码 的 剩余 度 为 


me HL(X) 


HL(X) 
K 


1 (5-2-12) 


Ki 
工 logm 


例 5-3 设 离散 无 记忆 信 源 的 概率 空间 为 


其 信 源 人 为 
HX) = 二 log4 十 地 log 专 二 0. 811bit/ 符号 


车 用 二 元 定 长 编码 (0,1) 来 构造 一 个 即时 码 : a1 一 0,az 一 1。 这 时 平均 码 长 
K = 1 二 元 码 符号 / 信 源 符号 
编码 效率 为 


1 ED — 0.1 


99 


100 信息 论 与 编码 ( 第 3 版 ) 


输出 的 信息 效率 为 
R 二 0. 811bit/ 二 元 码 符号 
再 对 长 度 为 2 的 信 源 序列 进行 变 长 编码 (编码 方法 后 面 介绍 ) ,其 即时 码 如 表 5-2 所 示 。 
表 5-2 工 一 2 时 信 源 序列 的 变 长 编码 


序 列 序列 概率 即 时 码 
aa 9/16 0 
Qilaz 3/16 10 
Qazal 3/16 110 
azaz 1/16 111 

这 个 码 的 码 字 平均 长 度 
i i 27 二 去 号 / 位 源 诺 
KS ne 二 元 码 符号 / 信 源 序列 


每 一 单个 符号 的 平均 码 长 
K=K:- 江 二 元 码 符号 / 信 源 符号 


其 编码 效率 


_ 32X0.811 
27 


= 0. 961 
输出 的 信息 效率 
R, 二 0.961bit/ 二 元 码 符 号 
可 见 编码 复杂 了 一 些 , 但 信息 传输 效率 有 了 提高 。 
用 同样 的 方法 可 进一步 将 信 源 序列 的 长 度 增 加 ,L=3 或 L 二 4, 对 这 些 信 源 序列 XX 进行 
编码 ,并 求 出 其 编码 效率 为 
加 一 0.985 
mh = 0.991 
这 时 信息 传输 效率 分 别 为 
Rs 二 0.985bit/ 二 元 码 符 号 
R， 二 0. 991bit/ 二 元 码 符号 
如 果 对 这 一 信 源 采用 定 长 二 元 码 编码 ,要 求 编码 效率 达到 96% 时 ,允许 译 码 错 误 概率 6 三 
10-:。 则 根据 式 (5-2-8) ,自信 息 的 方差 


2 
o(X) = Dpillogp)’ 一 [LHCX)]? = 0.4715(bit)? 
i=1 


所 需要 的 信 源 序列 长 度 


0.4715 (0. 96)° 
~ _0. 
工交 (0.811)2 0.042 X10™ 


很 明显 , 定 长 码 需要 的 信 源 序列 长 ,使 得 码 表 很 大 , 且 总 存在 译 码 差错 。 而 变 长 码 要 求 
编码 效率 达到 96% 时 ,只 需 工 二 2。 因 此 用 变 长 码 编码 时 ,L 不 需要 很 大 就 可 达到 相当 高 的 
编码 效率 ,而 且 可 实现 无 失真 编码 。 随 着 信 源 序列 长 度 的 增加 ,编码 的 效率 越 来 越 接近 于 
1, 编 码 后 的 信息 传输 率 R 也 越 来 越 接近 于 无 噪 无 损 二 元 对 称 信道 的 信道 容量 C= 二 1bit/ 二 


4.13 X 107 
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元 码 符号 ,达到 信 源 与 信道 匹配 ,使 信道 得 到 充分 利用 。 

从 变 长 编码 定理 可 以 看 出 ,要 使 信 源 编码 后 的 平均 码 长 最 短 ,就 要 求 信 源 中 每 个 符号 的 
码 长 与 其 概率 相 匹 配 , 即 概率 大 的 信息 符号 编 以 短 的 码 字 ,概率 小 的 符号 编 以 长 的 码 字 。 由 
于 符号 的 自信 息 量 T(z;) 就 是 基于 概率 计算 得 到 的 该 符号 含有 的 信息 量 ,因此 ,将 式 (5-2-9) 
中 的 信 源 粹 和 平均 码 长 蔡 换 成 每 个 信 源 符号 的 自信 息 量 T(x;) 和 码 长 K;, 则 可 得 到 一 种 构 
造 最 佳 码 长 的 编码 方法 , 称 为 香农 编码 。 

香农 第 一 定理 指出 ,选择 每 个 码 字 的 长 度 KK; 满足 下 式 

I(x) < Ki<Iz)+t+1l, Vi 
就 可 以 得 到 这 种 码 。 其 编码 方法 如 下 : 
(1) 将 信 源 消息 符号 按 其 出 现 的 概率 大 小 依次 排列 为 
i 宇 p: 宇 …* 宇 pp, 
(2) 确定 满足 下 列 不 等 式 的 整数 码 长 K; 为 
—log:(p;) < K; <— logz(pi)+!1 
(3) 为 了 编 成 唯一 可 译 码 ,计算 第 i 个 消息 的 累加 概率 


(4) 将 累加 概率 P; 变换 成 二 进 制 数 。 
(5) 取 P; 二 进 制 数 的 小 数 点 后 ;位 即 为 该 消息 符号 的 二 进 制 码 字 。 
如 图 5-5 所 示 ,香农 编码 可 以 这 样 理解 ,累加 概率 P; 把 区 间 [0,1) 分 割 成 许多 小 区 间 ， 
每 个 小 区 间 的 长 度 等 于 各 符号 的 概率 p; ,小 区 间 内 的 任 一 点 可 用 来 代表 该 符号 。 
例 5-4 设 信 源 共 7 个 符号 消息 ,其 概率 和 累加 概率 op) pp Pp … 1 
如 表 5-3 所 列 。 以 ;一 4 为 例 ， 站 bb 
一 log:0.17 < K 一 一 log:0.17 十 1 
2.56 雪 天 ,一 3.56， K=3 
累加 概率 P, 王 0. 57 ,变换 成 二 进 制 为 0.1001…, 由 于 K, 二 3, 所 以 第 4 个 消息 的 编码 码 字 为 
100。 其 他 消息 的 码 字 可 用 同样 方法 求 得 ,如 表 5-3 所 示 。 该 信 源 共有 5 个 3 位 的 码 字 ,各 
码 字 之 间 至 少 有 一 位 数字 不 相同 , 故 是 唯一 可 译 码 。 同 时 可 以 看 出 ,这 7 个 码 字 都 不 是 延长 
码 ,它们 都 属于 即时 码 。 


图 5-5 


表 5-3 香农 码 编码 过 程 


信 源 消息 符号 w | 符号 概率 pla;) | 累加 概率 P， | 一 logp(a:) | 码 字 长 度 K; 码 字 
a 0.20 0 2.32 3 000 
az 0.19 0.2 2.39 3 001 
aa 0.18 0.39 2.47 3 011 
a D7 0.57 2.56 3 100 
as 0.15 0.74 2.74 3 101 
as 0.10 0.89 3.34 4 1110 
ar 0.01 0.99 6.64 多 1111110 
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这 里 工 一 1,m 一 2, 所 以 信 源 符号 的 平均 码 长 为 
本 三 Spadk, 二 3. 14 码 元 / 符号 
平均 信息 传输 速率 为 
一 二 0. 831bit/ 码 元 


K 3.14 

这 种 码 的 编码 效率 为 83. 1% ,是 比较 低 的 。 

例 5-5 设 信 源 有 3 个 符号 ,概率 分 布 为 (0.5,0.4,0.1), 根 据 香 农 编码 方法 求 出 各 个 符 
号 的 码 长 对 应 为 (1,2,4) , 码 字 为 (0,10,1110)。 事 实 上 ,观察 信 源 的 概率 分 布 可 以 构造 出 一 
个 码 长 更 短 的 码 (0,10,11) ,显然 也 是 唯一 可 译 码 。 

所 以 从 上 述 两 个 例子 可 以 看 出 ,香农 编码 法 多 余 度 稍 大 ,编码 效率 比较 低 , 实 用 性 不 强 ， 
但 它 是 依据 编码 定理 而 来 ,因此 具有 重要 的 理论 意义 。 按 照 信 源 编码 定理 , 若 对 信 源 序列 进 
行 编码 , 当 序列 长 度 L 一 co 时 ,平均 码 长 会 趋 于 信 源 炉 。 


_ HC) _ 2.61 


5.3” 限 失真 信 源 编码 定理 


将 编码 器 看 作 信道 , 信 源 编码 模型 如 图 5-6 所 示 。 无 失真 信 源 编码 对 应 于 无 损 确定 信 
道 ,有 失真 信 源 编码 对 应 于 有 噪 信道 。 对 于 无 失真 信 源 编码 ,信道 的 输入 符号 个 数 与 输出 符 
号 个 数 相等 , 呈 一 一 对 应 关系 ,信道 的 损失 粹 HCX|Y) 和 噪声 烛 (Y|X) 均 为 零 ,通过 信道 
的 信息 传输 率 R 等 于 信 源 炉 甩 (CX) ,因此 ,从 信息 处 理 的 角度 来 看 ,无 失真 信 源 编码 是 保 录 
的 ,只 是 对 宙 余 度 进行 了 压缩 ,因为 元 余 度 是 对 信号 携带 信息 能 力 的 一 种 浪费 。 
ee 有 失真 信 源 编码 的 中 心 任务 是 : 在 允许 的 失真 范围 内 
信 源 六“| ( 信 源 编码 器 ) | “把 编码 后 的 信息 率 压缩 到 最 小 。 有 失真 信 源 编码 的 失真 范 
图 5.6 信 源 编码 器 示意 图 。 国 受 限 ,所 以 又 称 为 限 失真 信 源 编码 :编码 后 的 信息 率 得 到 
压缩 ,因此 属 粹 压缩 编码 。 之 所 以 引入 有 失真 的 粹 压缩 编 


码 , 原 因 如 下 : 

(1) 保 炳 编码 并 非 总 是 必需 的 。 有 些 情 况 下 ,信和 宿 不 需要 或 无 能 力 接 收 信 源 发 出 的 全 
部 信息 ,例如 人 有 眼 接收 视觉 信和 号 和 人 耳 接 收听 觉 信号 就 属于 这 种 情况 ,这 时 就 没有 必要 进行 
无 失真 的 保 炉 编码 。 

(2) 保 炉 编码 并 非 总 是 可 能 的 。 例 如 对 连续 信号 进行 数字 处 理 时 ,由 于 不 可 能 从 根本 
上 去 除 量化 误差 ,因此 不 可 能 做 到 保 炉 编码 。 

(3) 降低 信息 率 有 利于 传输 和 处 理 , 因 此 有 必要 进行 焙 压 缩编 码 。 例 如 连续 信 源 的 绝 
对 录 为 无 穷 大 , 若 用 离散 码 元 来 表示 ,需要 用 无 穷 长 的 码 元 串 ,传输 无 穷 长 的 码 元 串 势 必 造 
成 无 限 延 时 ,这 种 通信 就 无 任何 实际 意义 了 。 所 以 ,对 连续 信 源 而 言 , 粮 压缩 编码 是 绝对 必 
需 的 。 有 失真 的 炉 压 缩编 码 主要 针对 连续 信 源 ,但 其 理论 同样 适用 于 离散 信 源 。 

在 第 4 章 讨 论 中 ,信息 率 失真 函数 给 出 了 失真 小 于 D 时 所 必须 具有 的 最 小 信息 率 
R(D); 只 要 信息 率 大 于 R(D) ,一 定 可 以 找到 一 种 编码 ,使 译 码 后 的 失真 小 于 D。 

限 失 真 信 源 编码 定理 : 设 离散 无 记忆 信 源 X 的 信息 率 失真 函数 R(D), 则 当 信息 率 


第 5 章 “” 信 源 编码 103 
扫 一 一 


R>R(CD) ,只 要 信 源 序列 长 度 工 足够 长 ,一 定 存在 一 种 编码 方法 ,其 译 码 失真 小 于 或 等 于 
D 十 e,e 为 任意 小 的 正 数 。 反 之 , 若 R<R(CD), 则 无 论 采 用 什么 样 的 编码 方法 ,其 译 码 失真 
必 大 于 D。 

如 果 是 二 元 信 源 ,对 于 任意 小 的 se 盖 0, 每 一 个 信 源 符号 的 平均 码 长 满足 

R(D)<K<RD)+e 

上 述 定理 指出 ,在 失真 限度 内 使 信息 率 任意 接近 RCD) 的 编码 方法 存在 。 然 而 ,要 使 信息 率 
小 于 RD) ,平均 失真 一 定 会 超过 失真 限度 D。 

对 于 连续 平稳 无 记忆 信 源 ,虽然 无 法 进行 无 失真 编码 ,在 限 失 真情 况 下 ,有 与 上 述 定理 
一 样 的 编码 定理 。 

上 述 定理 只 能 说 明 最 佳 编码 是 存在 的 ,而 具体 构造 编码 方法 却 一 无 所 知 。 因 而 就 不 能 
像 无 损 编码 那样 从 证 明 过 程 中 引出 概率 匹配 的 编码 方法 。 一 般 只 能 从 优化 的 思路 去 求 最 佳 
编码 。 实 际 上 迄今 尚 无 合适 的 可 实现 的 编码 方法 可 接近 RCD) 这 个 界 。 


s.4 常用 信 源 编码 方法 简介 


前 面 已 经 介绍 了 信 源 编码 的 两 大 定理 ,实用 的 编码 方法 需要 根据 信 源 的 具体 特点 。 在 
编码 理论 指导 下 ,先后 出 现 了 许多 性 能 优良 的 编码 方法 ,根据 信 源 的 性 质 进 行 分 类 , 则 有 信 
源 统计 特性 已 知 或 未 知 ,无 失真 或 限定 失真 ,无 记忆 或 有 记忆 信 源 的 编码 ; 按 编 码 方法 进行 
分 类 ,可 分 为 分 组 码 或 非 分 组 码 .等 长 码 或 变 长 码 等 。 然 而 最 常见 的 是 讨论 统计 特性 已 知 条 
件 下 ,离散 ,平稳 ,无 失真 信 源 的 编码 ,消除 这 类 信 源 剩余 度 的 主要 方法 有 统计 匹配 编码 和 解 
除 相关 性 编码 。 例 如 ,香农 码 、 哈 夫 曼 码 属于 不 等 长 度 分 组 码 ,算术 编码 属于 非 分 组 码 ,预测 
编码 和 变换 编码 是 以 解除 相关 性 为 主 的 编码 。 对 统计 特性 未 知 的 信 源 编码 称 为 通用 编码 ， 
如 LZ 编码 。 对 限定 失真 的 信 源 编码 则 是 以 信息 率 失真 R(D) 函 数 为 基础 ,最 典型 的 是 矢量 
量化 编码 。 在 此 简要 介绍 部 分 编码 方法 的 基本 原理 。 


5.4.1 哈 夫 曼 编 码 


哈 夫 曼 编码 是 分 组 编码 ,完全 依据 各 字符 出 现 的 概率 来 构造 码 字 。 其 基本 原理 是 基于 
二 叉 树 的 编码 思想 ,所 有 可 能 的 输入 符号 在 哈 夫 曼 树 上 对 应 为 一 个 节点 ,节点 的 位 置 就 是 该 
符号 的 哈 夫 曼 编码 。 为 了 构造 出 唯一 可 译 码 , 这 些 节点 都 是 哈 夫 曼 树 上 的 终极 节点 ,不 再 延 
伸 ,不 会 出 现 前 缀 码 。 具 体 编 码 方法 如 下 : 

(1) 将 信 源 消息 符号 按 其 出 现 的 概率 大 小 依次 排列 为 

志 宇 pr 宇 … 宇 pp 

(2) 取 两 个 概率 最 小 的 字母 分 别 配 以 0 和 1 两 个 码 元 ,并 将 这 两 个 概率 相 加 作为 一 个 
新 字母 的 概率 ,与 未 分 配 二 进 符号 的 字母 一 起 重新 排队 。 

(3) 对 重 排 后 的 两 个 概率 最 小 符号 重复 步骤 (2) 的 过 程 。 

(4) 不 断 继续 上 述 过 程 , 直 到 最 后 两 个 符号 配 以 0 和 1 为 止 。 

(5) 从 最 后 一 级 开始 ,向 前 返回 得 到 各 个 信 源 符号 所 对 应 的 码 元 序列 , 即 相 应 的 码 字 。 
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例 5-6 对 例 5-4 中 的 信 源 进行 哈 夫 曼 编 码 ,编码 过 程 如 表 5-4 所 示 。 
表 5-4 ” 哈 夫 曼 码 编码 过 程 


信 源 符号 | 概率 码 过 字 发 
| oa 编码 过 程 码 字 了 | 码 长 厂 
a 0.20 0.20 0.26 0.35 0.39 0.61 2 10 | 2 
tm 0.19 0.19 0.20 0.26 0.35 区 039 1 11 2 
qs 0.18 0.18 0.19 0.2010 0.26J1 000 和 
ay 0.17 0.17 0.1810 0.19J1 001 3 
as 0.15 0.15 10 0.17) 1 010 和 
a 0.10 0 0.11J1 0110 4 
07 0.01 1 0111 4 
该 哈 夫 曼 码 的 平均 码 长 为 
二 
KK = 2》)p(ai)Ki 一 2.72 码 元 /符号 
这 1 
编码 效率 为 
HY 0 0 
RN 


由 此 可 见 ,与 例 5-4 的 香农 编码 相 比 , 哈 夫 曼 码 的 平均 码 长 比较 小 ,编码 效率 高 ,信息 传 
输 速 率 大 。 所 以 在 压缩 信 源 信息 率 的 实用 设备 中 , 哈 夫 曼 编码 还 是 比较 常用 的 。 
以 上 介绍 的 这 种 编码 方法 输出 的 是 二 进 制 哈 夫 曼 码 ,如 果 要 求 编 出 N 进 制 的 哈 夫 曼 
码 , 则 应 在 每 次 最 小 概率 合并 时 取 六 个 符号 。 另 外 ,为 了 得 到 最 短 平 均码 长 ,尽量 减少 赋 
长 码 的 信 源 符号 ,有 时 在 编码 前 需要 对 信 源 符号 作 添 加 ,使 得 信 源 的 符号 数量 满足 
M(N 一 1) 十 1,M 为 正 整数 。 添 加 的 信 源 符号 的 概率 为 零 。 这 样 在 多 次 合并 后 就 能 充分 
al Q2 Q3 Q4 


利用 短 码 , 以 便 降低 平均 码 长 。 例如 要 将 信 产 | |= | | 前 成 三 进 制 的 只 
夫 曼 码 ,如 果 直接 编码 ,形成 的 码 长 为 (1,2,2.2)。 如 果 先 对 信 源 添加 1 个 符号 , 杰 成 


X] [al ar as a as 
| -| |] 这 时 编码 形成 的 码 长 为 (1,2.2)。 
如 jjp ps ps 0 


哈 夫 曼 编码 方法 得 到 的 码 并 非 是 唯一 的 。 造 成 非 唯一 的 原因 如 下 : 

。 每 次 对 信 源 缩减 时 ,赋予 信 源 最 后 两 个 概率 最 小 的 符号 ,用 0 和 1 是 可 以 任意 的 ,所 
以 可 以 得 到 不 同 的 哈 夫 曼 码 ,但 不 会 影响 码 字 的 长 度 。 

。 对 信 源 进行 缩减 时 ,两 个 概率 最 小 的 符号 合并 后 的 概率 与 其 他 信 源 符号 的 概率 相同 
时 ,这 两 者 在 缩减 信 源 中 进行 概率 排序 ,其 位 置 放置 次 序 可 以 是 任意 的 , 故 会 得 到 不 
同 的 喻 夫 曼 码 。 此 时 将 影响 码 字 的 长 度 , 一 般 将 合并 的 概率 放 在 上 面 ,这 样 可 获得 
较 小 的 码 方差 。 

例 5-7 设 有 离散 无 记忆 信 源 

EE am az as a as 
上 | | | 


可 有 两 种 哈 夫 曼 编码 方法 ,如 表 5-5 和 表 5-6 所 示 , 码 树 如 图 5-7(a) 和 (b) 所 示 。 
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表 5-5 哈 夫 曼 编码 方法 一 


信 源 符号 w | 概率 p(4) 编码 过 程 码 字 丙 码 长 KK 
a 04 0.4 0.4 0.6 上 -10 1 1 
tm 0.2 02 0.410 2 0.4J1 01 2 
a 02 0210 Bk 02 } 000 3 
a 0.1 9 0010 4 
as 041 I 0011 4 


表 5-6 哈 夫 曼 编 码 方法 二 
信 源 符号 % | 概率 p(a)) 编码 过 程 码 字 丽 码 长 后 


a 0.4 0.4 0.4 0.6 了 10 00 2 
Ga 0.2 0.2 0.410 jo 0.4J1 10 2 
qs 0.2 Am eh 11 2 
ay 0.1 } 1 010 3 
as 0.1 1 011 3 


图 5-7 哈 夫 曼 码 树 


由 表 5-5 和 表 5-6 给 出 的 哈 夫 曼 码 的 平均 码 长 相等 , 即 
KK = 了》)p(ai)K; = 2.2 码 元 /符号 
编码 效率 也 相等 , 即 
7 = HR = 96.5% 
但 是 两 种 码 的 质量 不 完全 相同 .可 用 码 方差 来 表示 , 即 
of = EL[(k;—K)’] = Dpla) hs — KY 
ml 
表 5-5 中 哈 夫 曼 码 的 方差 为 ”二 1. 36 
表 5-6 中 哈 夫 曼 码 的 方差 为 ” 鸣 一 0. 16 
因此 可 见 , 第 二 种 哈 夫 曼 编码 方法 得 到 的 码 方差 要 比 第 一 种 哈 夫 曼 编码 方法 得 到 的 码 
方差 小 许多 。 故 第 二 种 哈 夫 曼 码 的 质量 要 好 。 
从 上 述 例子 看 出 ,进行 哈 夫 曼 编码 时 ,为 得 到 码 方差 最 小 的 码 , 应 使 合并 的 信 源 符号 位 
于 缩减 信 源 序列 尽 可 能 高 的 位 置 上 ,以 减少 再 次 合并 的 次 数 , 充 分 利用 短 码 。 
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哈 夫 曼 码 是 用 概率 匹配 方法 进行 信 源 编码 。 它 有 两 个 明显 特点 : 一 是 哈 夫 曼 码 的 编码 
方法 保证 了 概率 大 的 符号 对 应 于 短 码 ,概率 小 的 符号 对 应 于 长 码 ,充分 利用 了 短 码 ; 二 是 缩 
减 信 源 的 最 后 二 个 码 字 总 是 最 后 一 位 不 同 , 从 而 保证 了 哈 夫 曼 码 是 即时 码 。 

哈 夫 曼 变 长 码 的 效率 是 相当 高 的 , 它 可 以 单个 信 源 符号 编码 或 用 工 较 小 的 信 源 序列 编 
码 ,对 编码 器 的 设计 来 说 也 将 简单 得 多 。 但 是 应 当 注 意 , 要 达到 很 高 的 效率 仍然 需要 按 长 序 
列 来 计算 ,这样 才能 使 平均 码 字 长 度 降 低 。 

例 5-8 信 源 输出 两 个 符号 ,概率 分 布 为 P= 二 (0.9,0.1), 信 源 焙 H(X)==H(0.9)= 
0. 469。 采 用 二 进 制 哈 夫 曼 编码 。 

工 一 1, 开 ,一 1bit/ 符 号 

L=2,P’=(0. 81,0. 09,0. 09,0. 01) , 民 : 一 0. 645bit/ 符 号 ; 

工 一 3, 开 :一 0. 533bit/ 符 号 ; 

工 一 4, 开 ,一 0. 493bit/ 符 号 。 

随 着 序列 长 度 工 的 增加 ,平均 码 长 迅速 降低 ,接近 信 源 焙 值 。 

但 是 对 于 信 源 的 某 一 个 符号 而 言 ,有 时 可 能 还 会 比 定 长 码 长 。 例 如 在 例 5-7 中 , 信 源 符 
号 有 5 个 ,采用 定 长 码 方式 可 用 3 个 二 进 制 符号 组 成 码 字 。 而 用 变 长 码 时 ,有 的 码 字 却 长 达 
4 个 二 进 制 符号 。 所 以 编码 简单 化 的 代价 是 要 有 大 量 的 存储 设备 来 缓冲 码 字 长 度 的 差异 ， 
这 也 是 码 方 差 小 的 码 质量 好 的 原因 。 设 一 秒 送 一 个 信 源 符号 ,输出 的 码 字 有 的 只 有 一 个 二 
进 制 符号 ,有 的 却 有 5 个 二 进 制 符 号 ,车 希望 平均 每 秒 输出 K 二 2. 61 个 二 进 制 符号 以 压缩 
信息 率 ( 与 3 个 符号 的 定 长 码 相 比 ) ,就 必须 先 把 编 成 的 码 字 存储 起 来 ,再 按 K 的 信息 率 输 
出 ,才能 从 长 远 来 计算 ,输出 和 输入 保持 平衡 。 当 存储 量 不 够 大 时 ,就 可 能 有 时 取 空 ,有 时 溢 
出 。 例 如 信 源 常 发 出 短 码 时 ,就 会 出 现 取 空 ,就 是 说 还 没有 存 和 人 就 要 输出 。 常 发 出 长 码 时 ， 
就 会 溢出 ,就 是 存 人 太 多 ,以 致 存 满 了 还 未 取出 就 再 要 存 人 。 所 以 应 估计 所 需 的 存储 器 容 
量 , 才 能 使 上 述 现象 发 生 的 概率 小 至 可 以 容忍 。 

设 工 秒 内 有 N 个 信 源 符号 输出 , 信 源 输出 符号 速率 S==N/T, 若 符号 的 平均 码 长 为 K， 
则 信道 传输 速率 

R= SK (5-4-1) 
时 可 以 满足 条 件 。 

NN 个 码 字 的 长 度 分 别 为 K;,i 二 1,2,…,N, 即 在 此 期 间 输 入 存储 器 》) Kibit, 输出 至 信 

道 RTbit, 则 在 存储 器 内 还 剩 Xbit, 即 


X= DK,— RT (5-4-2) 
i=l 
已 知 K; 是 随机 变量 ,其 均值 和 方差 分 别 为 
K = E[LK;] = Yipk, (5-4-3) 
2 = ER?]—K: Sp K: (5-4-4) 


式 中 mm 是 信 源 符号 集 的 元 数 。 当 N 足够 大 时 ,X 是 许多 同 分 布 的 随机 变量 之 和 。 由 概率 
论 可 知 , 它 将 近似 于 正 态 变量 ,其 均值 和 方差 分 别 为 
E[X] = NK —RT = (SK —R)T 


第 5 章 “” 信 源 编码 107 
全 一 一 一 一 一 一 一 一 一 


到 一 No 
令 = 2 (5-4-5) 
它 是 标准 正 态 变量 ,可 得 下 列 概率 
Pl(Y> A)= P(Y<—A)= 9(~—A) (5-4-6) 


上 式 中 yg( 一 A) 是 误差 函数 ,可 查 表 得 其 数值 。 

如 果 式 (5-4-1) 成 立 , 则 E[X] 二 0。 设 起 始 时 存储 器 处 半 满 状态 ,而 存储 器 容量 为 
2Ao, ,可 由 式 (5-4-6) 求 得 溢出 概率 和 取 空 概率 ; 因 Y 二 A, 即 X 二 Ao, ,存储 器 将 溢出 ; 而 
Y= 一 A, 即 X= 一 Ao ,存储 器 取 空 。 这 就 是 说 ,如 果 要 求 这 些 概率 都 小 于 gp( 一 A) ,存储 器 
容量 应 大 于 2Ao, 。 例 如 要 求 溢出 概率 和 取 空 概率 都 小 于 0. 001, 查 表 得 A 应 为 3. 08, 则 存 
储 器 容量 C 应 为 

C> 6.16VNo (5-4-7) 

当 式 (5-4-1) 不 成 立时 ,存储 器 容量 还 要 增加 ,在 起 始 时 存储 器 也 不 应 处 于 半 满 状态 
例如 若 R>> S 开 ,平均 来 说 ,输出 大 于 输入 , 易 被 取 空 ,起 始 状态 可 超过 半 满 ; 反之 , 若 R= 
SK ,易于 溢出 ,可 不 到 半 满 。 

由 式 (5-4-7) 可 见 ,时 间 工 越 长 ,N 越 大 ,要 求 存储 器 的 容量 也 越 大 。 当 容量 设 定 后 , 随 
着 时 间 的 增长 ,存储 器 溢出 和 取 空 的 概率 都 将 增 大 ; 当 工 很 大 时 ,几乎 一 定 会 溢出 或 取 空 ， 
造成 损失 ; 即使 式 (5-4-1) 成 立 , 也 是 如 此 。 由 此 可 见 , 对 于 无 限 长 的 信息 ,很 难 采 用 变 长 码 
而 不 出 现 差错 。 一 般 来 说 , 变 长 码 只 适用 于 有 限 长 的 信息 传输 ; 即 送 出 一 段 信 息 后 , 信 源 能 
停止 输出 ,例如 传 丰 机 送出 一 张 纸 上 的 信息 后 就 停止 。 对 于 长 信息 ,在 实际 使 用 时 可 把 长 信 
息 分 段 发 送 ; 也 可 检测 存储 器 的 状态 , 发现 将 要 溢出 就 停止 信 源 输出 ,发现 将 要 取 空 就 插入 
空闲 标志 在 信道 上 传送 ,或 加 快 信 源 输出 。 

说 变 长 编码 可 以 无 失真 地 译 码 , 这 是 理想 情况 。 如 果 这 种 变 长 码 由 信道 传送 时 ,有 某 一 
个 符号 错 了 。 因 为 一 个 码 字 前 面 有 某 一 个 码 元 错 了 ,就 可 能 误 认为 是 另 一 个 码 字 而 点 断 , 结 
果 后 面 一 系列 的 码 字 也 会 译 错 ,这 常 称 为 差错 的 扩散 。 当 然 也 可 以 采用 某 些 措施 ,使 得 错 了 
一 段 以 后 ,能 恢复 正常 的 码 字 分 离 和 译 码 ,这 一 般 要 求 在 传输 过 程 中 差错 很 少 ,或 者 加 纠 错 
用 的 监督 码 位 ,但 是 这 样 一 来 又 增加 了 信息 率 。 

此 外 , 当 信 源 有 记忆 时 ,用 单个 符号 编制 变 长 码 不 可 能 使 编码 效率 接近 于 1, 因 为 信息 
率 只 能 接近 一 维 炉 有 Hi ,而 互 - 一 定 小 于 Hl。 此 时 仍 需 要 多 个 符号 一 起 编码 ,才能 进一步 提 
高 编码 效率 。 但 导致 码 表 长 .存储 器 多 。 

哈 夫 曼 码 在 实际 中 已 有 所 应 用 ,但 它 仍 存在 一 些 分 组 码 所 具有 的 缺点 。 例 如 概率 特性 
必须 精确 地 测定 ,以 此 来 编制 码 表 , 它 若 略 有 变化 ,还 需 更 换 码 表 。 因 而 在 实际 的 编码 过 程 
中 ,需要 对 原始 数据 扫描 两 遍 , 第 一 遍 用 来 统计 原始 数据 中 各 字符 出 现 的 概率 ,创建 码 表 存 
放 起 来 ,第 二 遍 则 依据 码 表 在 扫描 的 同时 进行 编码 .才能 传输 信息 。 如 果 将 这 种 编码 用 于 网 
络 通信 中 ,两 遍 扫 描 会 引起 较 大 的 延 时 ; 如 果 用 于 数据 压缩 , 则 会 降低 速度 。 因 此 出 现 了 自 
适应 哈 夫 曼 编码 方法 ,其 码 表 不 是 事先 构造 ,而 是 随 着 编码 的 进行 ,不 断 动态 地 构造 .调整 ， 
所 以 码 表 不 仅 取决 于 信 源 的 特性 ,还 与 编码 .解码 过 程 相关 。 

另外 ,对 于 二 元 信 源 , 常 需 多 个 符号 合 起 来 编码 ,才能 取得 好 的 效果 ,但 当 合并 的 符号 数 
不 大 时 ,编码 效率 提高 不 多 ,尤其 对 于 相关 信 源 ,不 能 令 人 满意 ,而 合并 的 符号 数 增 大 时 , 码 
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表 中 的 码 字 数 很 多 ,设备 将 越 来 越 复杂 。 在 大 多 数 情况 下 , 哈 夫 曼 编码 用 于 无 失真 编码 ,但 
也 可 以 用 于 有 失真 情况 。 例 如 在 符号 数 很 多 且 有 部 分 符号 的 概率 非常 小 时 ,为 了 减 小 码 表 ， 
可 以 将 这 些小 概率 符号 合并 对 应 同一 个 码 字 ,在 解码 时 出 现 的 错误 概率 即 为 这 些 符号 概率 
之 和 。 


5.4.2 算术 编码 


以 上 所 讨论 的 编码 方法 都 是 建立 在 符号 和 码 字 相 对 应 的 基础 上 的 ,这 种 编码 通常 称 为 
块 码 或 分 组 码 。 若 对 信 源 单 符号 进行 编码 , 则 符号 间 的 相关 性 就 无 法 考虑 ; 若 将 m 个 符号 
合 起 来 编码 ,一 是 会 增加 设备 复杂 度 ,二 是 mm 十 1 个 符号 间 以 及 组 间 符 号 的 相关 性 还 是 无 法 
考虑 。 这 就 使 信 源 编码 的 匹配 原则 不 能 充分 满足 ,编码 效率 就 有 所 损失 。 

为 了 克服 这 种 局 限 性 ,就 需要 跳出 分 组 码 的 范畴 ,研究 非 分 组 码 的 编码 方法 。 算 术 码 即 
为 其 中 之 一 ,编码 的 基本 思路 是 ,将 需要 编码 的 全 部 数据 看 成 某 一 工 长 序列 ,所 有 可 能 出 现 
的 工 长 序列 的 概率 映射 到 [0,1] 区 间 上 ,把 [0,1] 区 间 分 成 许多 小 段 , 每 段 的 长 度 等 于 某 一 
序列 的 概率 。 再 在 段 内 取 一 个 二 进 制 小 数 用 作 码 字 , 其 长 度 可 与 该 序列 的 概率 匹配 ,达到 高 
效率 编码 的 目的 。 这 种 方法 与 香农 编码 法 有 点 类 似 , 只 是 它们 考虑 的 信 源 序列 对 象 不 同 , 算 
术 码 中 的 信 源 序列 长 度 要 长 得 多 ,或 许 是 欲 编 码 的 整个 数据 文件 ,而 香农 码 中 的 序列 长 度 
是 1。 

如 果 信 源 符号 集 为 A 二 {a1,as，,… ,a,) ,L 长 信 源 序列 x 二 (Cz ,zs vs GE 
A, 共 有 nt 种 可 能 序列 。 由 于 考虑 的 是 全 序列 ,也 许 是 整 页 纸 上 的 信息 作为 一 个 序列 ,因而 
序列 长 度 工 很 大 。 实 用 中 很 难得 到 对 应 序列 的 概率 ,只 能 从 已 知 的 信 源 符号 概率 P= 
[Ca ) ,pas) ,plan)]=[Pi,p:，……,p,，,…,p,] 中 递 推 得 到 。 定 义 各 符号 的 积累 概率 为 


P,= >) 轧 (5-4-8) 

显然 ,由 上 式 可 得 Pi 二 0,Ps= 二 pi1,P; 二 十 pe… ,而且 
by = Bran = (5-4-9) 
由 于 P,+ 和 了 ,都 是 小 于 1 的 正 数 ,可 用 [0,1] 区 间 内 的 两 个 点 来 表示 , 则 p, 就 是 这 两 点 间 
的 小 区 间 的 长 度 , 如 图 5-8 所 示 。 不 同 的 符号 有 不 同 的 小 区 间 , 它 们 互 不 重 全 ,所 以 可 将 这 
种 小 区 间 内 的 任 一 个 点 作为 该 符号 的 代码 。 以 后 将 计算 这 代码 所 需 的 长 度 , 使 之 能 与 其 概 


. 率 匹 配 。 
P) Pp, Ps PP, 1 
TT 例如 有 一 序列 S=011, 这 种 3 个 二 元 符号 的 序列 可 
按 自然 二 进 制 数 排列 ,000,001,010,…, 则 S 的 积累 概 
5-8 率 为 
P(S) = p(000) + p(001) + pC(010) (5-4-10) 


如 果 S 后 面 接 一 个 “0”, 积 累 概率 就 成 为 
P(S,0) ==p(0000) 十 pC0001) 十 p(0010) 十 pC0011) 十 pC(0100) 十 p(0101) 
二 p(000) 十 p(001) 十 p(010) = P(S) 
因为 两 个 四 元 符号 的 最 后 一 位 是 *0” 和 “1” 时 ,根据 归 一 律 .它们 的 概率 和 应 等 于 前 3 位 的 概 
率 , 即 p(0000) 十 p(0001) 二 p(000) 等 。 
如 果 S 后 面 接 一 个 “1”, 则 其 积累 概率 是 
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P(S,1) ==p(0000) 十 pC0001) 十 p(0010) 十 pC0011) 十 pC(0100) 十 pC(0101) 十 pC0110) 

=P(S) 十 加 (0110) 

=P(S)+p(S)po 
由 于 单 符号 的 积累 概率 为 P, 二 0,P 二 po, 所 以 上 面 两 式 可 统一 写作 

P(S,r) = P(S)+p(S)P,,r = 0,1 
这 样 写 的 式 子 很 容易 推广 到 多 元 序列 (m 记 2) , 即 可 得 一 般 的 递 推 公式 
P(S,a,) = P(S)+p(S)P, (5-4-11) 
以 及 序列 的 概率 公式 
plS,as) = p(S)p, 

对 于 有 相关 性 的 序列 ,上 面 的 两 个 递 推 公式 也 是 适用 的 ,只 是 上 式 中 的 单 符号 概率 应 换 
成 条 件 概率 。 用 递 推 公式 可 逐 位 计算 序列 的 积累 概率 ,而 不 用 像 式 (5-4-10) 那 样 列举 所 有 
排 在 前 面 的 那些 序列 概率 。 

从 以 上 关于 积累 概率 P(S) 的 计算 中 可 看 出 ,P(S) 把 区 间 [0,1) 分 割 成 许多 小 区 间 , 每 
个 小 区 间 的 长 度 等 于 各 序列 的 概率 p(S) ,而 该 小 区 间 内 的 任 一 点 可 用 来 代表 该 序列 ,现在 
来 讨论 如 何 选择 这 个 点 。 令 

区 -| 而 | (5-4-12) 
其 中 [1 代表 大 于 或 等 于 的 最 小 整数 。 把 积累 概率 P(S) 写 成 二 进位 的 小 数 , 取 其 前 工 位 ， 
以 后 如 果 有 尾数 ,就 进位 到 第 工 位 ,这 样 得 到 一 个 数 C。 例 如 P(S) 王 0. 10110001,(S) 一 
1/17, 则 二 =5, 得 C=0.10111。 这 个 C 就 可 作为 S 的 码 字 。 因 为 C 不 小 于 已 (S) ,至 少 等 于 
P(S)。 又 由 式 (5-4-12) ,可知 p(S) 宇 2”'。 令 (S 十 1) 为 按 顺序 正好 在 S 后 面 的 一 个 序 
列 , 则 

P(S+1)= P(S)+p(S)P(S)+2 :>C 

当 P(S) 在 第 工 位 以 后 没有 尾数 时 ,P(S) 就 是 C, 上 式 成 立 ; 如 果 有 尾数 时 ,该 尾数 就 是 上 
式 的 左右 两 侧 之 差 , 所 以 上 式 也 成 立 。 由 此 可 见 C 必 在 P(S+1) 和 P(CS) 之 间 , 也 就 是 在 长 
度 为 2(S) 的 小 区 间 ( 左 闭 右 开 的 区 间 ) 内 ,因而 是 可 以 唯一 译 码 。 这 样 构成 的 码 字 , 编 码 效 
率 是 很 高 的 ,因为 已 可 达到 概率 匹配 ,尤其 是 当 序列 很 长 时 。 由 式 (5-4-12) 可 见 , 对 于 长 序 
列 ,p(S) 必 然 很 小 ,L 与 概率 倒数 的 对 数 已 几乎 相等 ,也 就 是 取 整 数 所 造成 的 差别 很 小 , 平 
均 代 码 长 度 将 接近 S 的 炉 值 。 

实际 应 用 中 ,采用 累积 概率 P(S) 表 示 码 字 C(S) ,符号 概率 p(S) 表 示 状 态 区 间 A(S)， 

则 有 
C(CS,r) = CCS) 十 ACS)P. 
(5-4-13) 
A(S,r) = A(S)p, 


对 于 二 进 制 符 号 组 成 的 序列 ,r= 二 0,1。 
实际 编码 过 程 是 这 样 的 。 先 置 定 两 个 存储 器 ,起 始 时 可 令 
A(p) =1, C(yg)=0 
其 中 p 代 表 空 集 , 即 起 始 时 码 字 为 0, 状态 区 间 为 1。 每 输入 一 个 信 源 符号 ,存储 器 C 和 人 
就 按照 式 (5-4-13) 更 新 一 次 ,直至 信 源 符号 输入 完毕 ,就 可 将 存储 器 C 的 内 容 作为 该 序 
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列 的 码 字 输出 。 由 于 C(S) 是 递增 的 ,而 增 量 A(CS) P, 随 着 序列 的 增长 而 减 小 ,因为 状态 
区 间 A(S) 越 来 越 小 ,与 信 源 单 符号 的 积累 概率 P, 的 乘积 就 越 来 越 小 。 所 以 C 的 前 面 几 
位 一 般 已 固定 ,在 以 后 计算 中 不 会 被 更 新 ,因而 可 以 边 算 边 输出 ,只 需 保 留 后 面 几 位 用 作 
更 新 。 

译 码 也 可 逐 位 进行 ,与 编码 过 程 相似 。 
例 5-9 有 4 个 符号 a、.b、c.d 构成 简单 序列 S 二 abda, 各 符号 及 其 对 应 概率 如 表 5-7 


所 示 。 
表 5-7 各 符号 及 其 对 应 概率 
符号 符号 概率 p; 符号 累积 概率 P， 
a 0.100(1/2) 0.000 
b 0.010(1/4) 0.100 
六 0.001(1/8) 0.110 
d 0.001(1/8) 0.111 
算术 编 解码 过 程 如 下 : 
设 起 始 状态 为 空 序列 p, 则 A(y)==1,C(y)==0。 
递 推 得 


Clga)=C(g)+A(gp)P, =0+1xX0=0 
(ne = A(y)ps = 1X0.1=0.1 
Cla,b) = C(a) 十 A(a)P = 0+0.1X0.1= 0.01 


Ala,b) = Al(a)ps = 0.1X0.01= 0.001 


Ala,b,d) = A(a,b)pa = 0.001 Xx 0.001 = 0.000001 


ws = C(a,b)+A(a,b)Pa = 0.01+0.001 Xx 0.111= 0.010111 
(ee = Cla,b,d)+A(a,b,d)P, = 0.010111+0.000001 Xx0= 0.010111 


A(a,b,da) = A(a,b,d)p, = 0.000001 Xx 0.1 = 0.0000001 
计算 该 序列 的 编码 码 长 ,根据 式 (5-4-12) ,有 


1 
区 zt | 


得 码 长 为 7, 取 Cla,b,d,a) 的 小 数 点 后 7 位 即 为 编码 后 的 码 字 0101110。 上 述 编码 过 程 如 
图 5-9 所 示 ,可 用 对 单位 区 间 的 划分 来 描述 。 
该 信 源 的 炉 为 


1 1 
H(X) 2 1g 


1 1 1 I 局 
4 log 4 公关 log 8 1.75bit/ 符号 


编码 效率 7 一 上 夺 一 100% 


译 码 可 通过 比较 上 述 编码 后 的 数值 大 小 来 进行 , 即 判 断 码 字 C(S) 落 在 哪 一 个 区 间 就 可 
以 得 出 一 个 相应 的 符号 序列 。 据 递 推 公式 的 相反 过 程 译 出 每 个 符号 。 步 又 如 下 : 
Cla,b,d,a) 二 0.0101110 过 0.1E€[0,0.1] 第 一 个 符号 为 a; 
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A(P) 
0(ps) pa Ps ps Pe. pe Ps pal 
Cl9) 
A(a) 9 
| a EE b c d 
9 Alab) 
a CC 外 b c d 
alblcld 
A(a,b,d) 
Cla,b,d) 


图 5-9 算术 码 编码 过 程 


放大 至 [0,1](Xpi1):; Cl(a,b,d,a)X2! 二 0.10111E[0.1,0.110] 第 二 个 符号 为 5; 

去 掉 累 积 概率 P, 后 得 : 0.10111 一 0.1==0.00111; 

放大 至 [0,1](Xpz!): 0.00111X22: 一 0.111 E[0.111,1] 第 三 个 符号 为 dl; 

去 掉 累 积 概率 Ps 后 得 : 0.111 一 0.111==0; 

放大 至 [0,1](Xpz!'): 0X2?= 二 0 E[0,0.1] 第 四 个 符号 为 a。 

实际 的 编译 码 过 程 比较 复杂 ,但 原理 相同 。 算 术 编 码 从 性 能 上 看 具有 许多 优点 ,特别 是 
所 需 的 参数 很 少 ,不 像 哈 夫 曼 编码 那样 需要 一 个 很 大 的 码 表 。 由 于 二 元 信 源 的 编码 实现 比 
较 简单 ,我 国 最 早 将 它 应 用 于 报纸 传真 的 压缩 设备 中 ,获得 了 良好 的 效果 。 从 理论 上 说 ,只 
要 已 知 信 源 符号 集 及 其 符号 概率 ,算术 编码 的 平均 码 长 可 以 接近 符号 粹 。 因 而 在 实际 编码 
时 ,需要 预先 对 信 源 输入 符号 的 概率 进行 估计 ,估计 的 精准 程度 将 直接 影响 编码 性 能 。 但 是 
事先 知道 精确 的 信 源 符号 概率 是 很 难 的 ,而 且 是 不 切实 际 的 。 算 术 编 码 可 以 是 静态 的 或 是 
自 适应 的 。 在 静态 算术 编码 中 , 信 源 符号 的 概率 是 固定 的 。 而 对 于 一 些 信 源 概 率 未 知 或 非 
平稳 情况 ,常设 计 成 自 适 应 算术 编码 ,在 编码 的 过 程 中 根据 信 源 符号 出 现 的 频繁 程度 动态 地 
修正 符号 概率 。 


5.4.3 LZ 编码 


上 述 信 源 编码 方法 都 需要 精确 已 知 信 源 的 概率 分 布 , 一 旦 信 源 的 实际 分 布 与 假设 的 分 
布 有 差异 ,编码 性 能 就 会 急剧 下 降 。 但 是 在 实际 应 用 中 ,确切 地 获知 信 源 统计 特性 有 时 是 非 
常 困难 的 ,有 时 信 源 统计 特性 还 会 随时 发 生变 化 ,因此 就 需要 一 种 与 信 源 统计 特性 无 关 的 信 
源 编码 方法 , 称 为 通用 信 源 编码 。 

1965 年 苏联 数学 家 柯 尔 莫 戈 洛 夫 (Kolmogolov) 提 出 利用 信 源 序列 的 结构 特性 来 编码 。 
而 两 位 以 色 列 研究 者 齐 夫 (Ziv) 和 伦 佩 尔 (Lempel) 独 尽 蹊 径 , 完 全 脱离 哈 夫 曼 码 和 算术 编 
码 的 设计 思路 ,创造 出 了 一 系列 比 哈 夫 曼 编码 更 有 效 , 比 算术 编码 更 快捷 的 通用 压缩 算法 。 
将 这 些 算法 统称 为 LZ 系列 算法 。 

Ziv 和 Lempel 于 1977 年 提出 了 LZ77 算法 。1978 年 ,两 人 又 提出 了 改进 算法 ,后 被 命 
名 为 LZ78 算法 ,该 算法 性 能 稍 差 , 但 易于 实现 。1984 年 , 韦 尔 奇 (Welch) 提 出 了 L278 算法 
的 一 个 变种 , 即 LZW 算法 。1990 年 后 ,贝尔 (Bell) 等 人 又 陆续 提出 了 许多 LZ 系列 算法 的 
变 体 或 改进 版 本 。LZ 系列 算法 用 一 种 巧妙 的 方式 将 字典 技术 应 用 于 通用 数据 压缩 领域 ,而 
且 , 可 以 从 理论 上 证 明 LZ 系列 算法 同样 可 以 允 近 信息 炉 的 极限 。 
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设 信 源 符 号 集 A 二 {a ,as，,…,axr} 共 KK 个 符号 , 设 输入 信 源 符号 序列 为 U= Ga ,xz ，…， 
u) ,编码 是 将 此 序列 分 成 不 同 的 段 。 分 解 是 迭代 进行 的 ,在 第 i 步 ,编码 器 从 s;-1 短 语 后 的 
第 一 个 符号 开始 向 后 搜索 在 此 之 前 未 出 现 过 的 最 短 短语 s; ,将 短语 s; 添 入 字典 第 i 段 。 由 
于 s; 是 此 时 字典 中 最 短 的 新 短语 ,所 以 s; 在 去 掉 最 后 一 个 符号 x 后 所 得 的 前 绥 必 定 是 字典 
中 之 前 已 经 出 现 过 的 。 若 设 此 前 级 是 在 第 (二 门 步 时 出 现 的 , 则 对 s; 的 编码 就 可 利用 7 和 
si 最 后 一 位 符号 x 来 表示 , 即 为 码 字 (j ,zx)。 对 于 段 号 j ,最 多 需要 [logi |bit 表示 ,而 符号 
只 需 | logK 1bit。 若 编码 后 的 字典 中 短语 共有 MCUD) 个 , 则 UU 序列 编码 后 输出 的 码 流 总 长 


MO 
度 为 之 (Tlogi | 十 [logK ]) 。 

例 5-10 ”信和 源 符号 集 A 二 {a,5} ,输入 信 源 符号 序列 器 = (abbabaabbabbaaaaba…), 编 
码 输出 二 进 制 码 流 。 

如 表 5-8 所 示 , 对 输入 序列 进行 分 段 。 最 先 出 现 的 是 单 符号 a 和 65, 分 别 赋予 段 号 1 和 2， 
由 于 是 单 符号 ,没有 前 级 ,因而 码 字 中 的 j 赋 0, 则 对 应 段 号 1 和 段 号 2 的 码 字 分 别 为 (0,a) 和 
(0,0)。 接 着 信 源 序列 出 现 符号 5, 由 于 之 前 字典 中 已 有 ,所 以 最 短 的 新 短语 应 为 ba ,为 段 号 
3, 前 级 5 为 段 号 2, 因 此 对 应 的 码 字 为 (2,a)。 按 照 这 样 的 规则 分 解 序 列 , 直 至 最 后 。 由 于 
最 终 需 要 编 成 二 进 制 码 , 故 将 信 源 符号 a 编码 为 0, 符号 45 编码 为 1, 再 将 段 号 用 [logi |] 长度 
的 二 进 制 数 表示 ,最 后 得 到 输出 的 二 进 制 码 流 为 00011001100101001110001100…。 

表 5-8 LZ 编码 示例 


短语 a b ba baa bb ab baaa aba 
段 号 1 4 5 6 7 8 
码 字 (0,a) (0,b) (2,a) (3,a) (2,b) (1,0) (4,a) (6,a) 
二 进 制 码 | (0,0) (0,1) (10,0) (11,0) (010,1) (001,1) (100,0) (110,0) 


LZ 编码 的 编码 方法 非常 简捷 , 译 码 也 很 简单 ,可 以 一 边 译 码 一 边 建立 字典 。 译 码 时 车 
收 到 的 码 字 为 ( ,zx), 则 在 字典 中 找到 第 j 个 短语 ,然后 加 上 符号 zx 即 可 译 出 对 应 的 新 短语 ， 
并 添 入 字典 。 因 此 发 送 时 无 需 传输 字典 本 身 。 从 上 例 中 看 到 ,编码 后 输出 的 码 流 较 长 ,编码 
效率 不 是 很 高 ,这 是 由 于 信 源 序列 长 度 短 , 当 编 码 的 信 源 序列 增长 时 ,编码 效率 会 提高 。 可 
以 证 明 ,LZ 编码 的 输出 速率 可 以 达到 信 源 极限 粹 。 

LZ 编码 算法 逻辑 简单 ,硬件 实现 廉价 ,运算 速度 快 ,被 ITU 数据 传输 标准 V. 42 所 采 
用 ,并 在 很 多 计算 机 数据 存储 中 得 到 应 用 ,如 用 于 计算 机 文件 压缩 的 WinZip、WinRAR 等 
工具 。 其 优点 在 于 能 够 有 效 地 利用 信 源 输出 序列 字符 的 频率 .重复 性 和 高 使 用 率 的 宛 余 度 ， 
是 一 种 自 适应 算法 ,只 需 对 信 源 序列 进行 一 次 扫描 ,无 须知 道 信 源 的 先 验 统计 特性 ,运算 时 
间 正 比 于 序列 长 度 。 但 也 有 缺点 ,一 是 不 能 有 效 利 用 位 置 的 宛 余 度 ; 二 是 该 算法 通常 在 序 
列 起 始 段 压缩 效果 差 一 些 , 随 着 长 度 增加 效果 变 好 。 


5.4.4 游程 编码 


在 二 元 序列 中 ,只 有 两 种 符号 , 即 “0” 和 “1”, 这 些 符号 可 连续 出 现 , 连 “0” 这 一 段 称 为 “0” 
游程 , 连 “1? 这 一 段 称 为 "1 游程 。 它 们 的 长 度 分 别称 为 游程 长 度 直 00) 和 工 (1)。“0? 游 程 和 
“1” 游 程 总 是 交替 出 现 的 。 如 果 规 定 二 元 序列 是 以 0” 开始, 第 一 个 游程 是 “0” 游 程 ,第 二 个 
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必 为 “1 游程 ,第 三 个 又 是 “0? 游 程 ……- 。 对 于 随机 的 二 元 序列 ,各 游程 长 度 将 是 随机 变量 ， 
其 取 值 可 为 1,2,3,…, 直 到 无 限 。 将 任何 二 元 序列 变换 成 游程 长 度 序列 ,这 种 变换 是 一 一 
对 应 的 ,也 就 是 可 道 的 。 例 如 有 一 个 二 元 序列 000101110010001…, 可 变换 成 下 列 游程 序 
列 : 3113213…。 

车 已 知 二 元 序列 是 以 “0” 起 始 的 ,从 上 面 的 游程 序列 很 容易 恢复 成 原来 的 二 元 序列 , 包 
括 最 后 一 个 “1”, 因 为 长 度 为 3 的 “0” 游 程 之 后 必定 是 “1”。 游 程序 列 已 是 多 元 序列 ,各 长 度 
就 可 按 霍 夫 曼 编码 或 其 他 方法 处 理 以 达到 压缩 码 率 的 目的 。 这 种 从 二 元 序列 转换 成 多 元 序 
列 的 方法 ,在 实现 时 比 前 面 的 并 元 法 简单 。 因 为 游程 长 度 的 计数 比较 容易 ,得 到 游程 长 度 后 
就 可 从 码 表 中 找 出 码 字 输出 ,同时 去 数 下 一 个 游程 长 度 。 此 外 ,在 减弱 原 有 序列 的 符号 间 的 
相关 性 方面 ,采用 游程 变换 一 般 也 比 并 元 法 更 有 效 。 当 然 ,要 对 二 元 序列 进行 霍 夫 曼 编 码 
时 ,应 先 测定 0” 游程 长 度 和 “1” 游 程 长 度 的 概率 分 布 ,或 由 二 元 序列 的 概率 特性 去 计算 各 种 
游程 长 度 的 概率 。 

对 于 多 元 序列 也 存在 相应 的 游程 序列 。 例 如 m 元 序列 中 ,可 有 m 种 游程 。 连 着 出 现 符 
号 a, 的 游程 ,其 长 度 L(7) 就 是 “rx” 游程 长 度 ,这 也 是 一 个 随机 变量 。 用 L(r) 也 可 构成 游程 
序列 ,但 是 这 种 变换 必须 再 加 一 些 符号 ,才能 成 为 一 一 对 应 或 可 道 的 ,与 二 元 序列 变换 所 得 
的 游程 序列 不 同 ,这 里 每 个 “vr” 游程 的 前 面 和 后 面 出 现 什么 符号 是 不 确定 的 ,除外 的 任何 
符号 都 是 可 能 的 ,因此 这 一 游程 之 后 是 何 种 符号 的 游程 就 无 法 确定 ,除非 插入 一 个 标志 说 明 
后 一 游程 的 类 别 。 所 以 把 多 元 序列 变换 成 游程 序列 再 进行 压缩 编码 是 没有 多 大 意义 的 , 因 
为 上 述 的 附加 标志 可 能 抵消 压缩 编码 所 得 的 好 处 ,对 原来 的 多 元 序列 直接 编码 ,或 许 会 更 有 
效 一 些 。 

游程 编码 仍 是 变 长 码 , 有 其 固有 的 缺点 , 即 需 有 大 量 的 缓冲 和 优质 的 信道 。 此 外 ,由 于 
游程 长 度 可 从 1 直到 无 限 , 这 在 码 字 的 选择 和 码 表 的 建立 方面 都 有 困难 ,实际 应 用 时 尚 需 采 

一 般 情况 下 ,游程 长 度 越 大 ,其 概率 越 小 ; 这 在 以 前 的 计算 中 也 可 看 到 ,而 且 将 随 长 度 
的 增 大 渐 趋 向 零 。 对 于 小 概率 的 码 字 ,其 长 度 未 达到 概率 匹配 或 较 长 ,损失 不 会 太 大 ,也 就 
是 对 平均 码 字 长 度 影响 较 小 。 这 样 就 可 对 长 游程 不 严格 按 霍 夫 曼 码 步骤 进行 ; 在 实际 应 用 
时 , 常 采用 截断 处 理 的 方法 。 

游程 编码 只 适用 于 二 元 序列 ,对 于 多 元 信 源 ,一般 不 能 直接 利用 游程 编码 ,但 在 下 面 介 
绍 的 宛 余 位 编码 ,也 可 认为 是 游程 编码 在 多 元 信 源 的 一 种 应 用 。 

在 许多 信 源 序列 中 , 常 有 不 少 符号 不 携带 信息 ,除了 它 的 数目 或 所 占 时 长 外 ,完全 可 以 
不 传送 。 例 如 在 电话 通信 中 ,讲话 时 常 有 间隙 ,如 字句 间 的 停顿 , 听 对 方 讲话 而 静默 ;又 如 
图 像 信 源 中 ,背景 基本 上 不 变 .并 在 图 像 中 占 相 当 大 一 部 分 ,而 其 值 为 常量 相当 于 平均 亮度 ， 
一 般 也 可 以 不 传送 ; 在 数据 信 源 序列 中 ,信息 包间 的 间 敬 或 某 种 固定 模式 ,也 属于 元 余 性 
质 。 这 些 符 号 可 称 为 宛 余 位 ,车 能 删除 它们 ,可 得 较 大 的 压缩 比 。 

设 有 多 元 信 源 序列 

TL 9 TE 9 Tm VY Ti Tm 9 YY (5-4-14) 
其 中 工 是 含有 信息 的 代码 , 取 值 于 m 元 符号 集 A ,可 称 为 信息 位 ; y 是 宛 余 位 ,它们 可 为 全 
零 , 即 使 未 曾 传送 在 接收 端 也 能 恢复 的 。 这 样 的 序列 可 用 下 列 两 个 序列 来 代替 
111,…,100,…,000111.…,111000 
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和 

Ta ya (5-4-15) 
前 一 个 序列 中 ,用 “1” 表 示 信 息 位 ,用 “0” 表 示 元 余 位 ; 后 一 个 序列 是 取消 宛 余 位 后 留 下 的 所 
有 信息 位 。 显 然 , 从 式 (5-4-14) 变 换 成 式 (5-4-15) 中 的 两 个 序列 是 一 一 对 应 的 ,也 就 是 可 逆 
的 。 如 果 把 式 (5-4-15) 中 的 两 个 序列 传送 出 去 ,只 要 没有 差错 ,在 接收 端 就 可 恢复 式 (5-4-14) 
中 的 多 元 信 源 序列 。 这 样 就 把 一 个 多 元 序列 分 解 为 一 个 二 元 序列 和 一 个 缩短 了 的 多 元 序 
列 。 它 们 可 用 不 同 的 方法 来 编码 以 利于 更 有 效 地 压缩 码 率 。 


5.4.5 矢量 量化 编码 


连续 信 源 进行 编码 的 主要 方法 是 量化 ,即将 连续 的 样 值 x 离散 化 成 为 wiiz 一 1,2,3,…， 
7。 7 是 量化 级 数 ,yw 是 某 些 实数 。 这 样 就 把 连续 值 转化 为 n 个 实数 ,可 用 0,1,2,…,n 一 1 
等 n 个 数字 来 表示 。 离 散 信 源 也 会 涉及 量化 的 问题 ,比如 当 提 供 的 量化 级 数 少 于 原来 的 量 
化 级 数 时 ,也 需要 对 该 信 源 信号 进行 再 次 量化 。 在 上 述 的 这 些 量化 中 ,由 于 z 是 一 个 标量 ， 
因此 称 为 标量 量化 。 矢 量 量化 就 是 将 若干 个 标量 数据 组 构成 一 个 矢量 ,然后 在 矢量 空间 进 
行 整体 量化 ,从 而 压缩 数据 。 量 化 会 引入 失真 ,所 以 矢量 量化 是 一 种 限 失 真 编码 ,量化 时 必 
须 使 这 些 失 真 最 小 。 正 如 前 面 的 编码 定理 中 看 到 的 ,将 离散 信 源 的 多 个 符号 联合 编码 可 提 
高 效率 。 连 续 信 源 也 是 如 此 , 当 把 多 个 信 源 符号 联合 起 来 形成 多 维 矢量 ,再 对 矢量 进行 标量 
量化 时 ,可 以 充分 利用 各 分 量 间 的 统计 依赖 性 ,同样 的 失真 下 ,量化 级 数 可 进一步 减少 , 码 率 
可 进一步 压缩 。 在 维 数 足够 高 时 ,矢量 量化 编码 可 以 任意 接近 率 失 真理 论 所 给 出 的 极限 。 

矢量 量化 编码 的 原理 是 ,输入 k 维 随机 矢量 XX; 二 (zii ,xis，… ,zin) ,通过 一 个 矢量 量化 
器 QCX) ,映射 成 对 应 的 & 维 输出 矢量 Y= 二 (ya ys，yyit)。Y 一 (YYw} ,共有 N 
种 矢量 组 成 的 集合 Y 称 为 码 书 或 码 本 。 它 实际 上 是 一 个 长 度 为 N 的 表 , 表 中 的 每 个 分 量 Y; 
都 是 一 个 & 维 矢量 , 称 为 码 字 或 码 矢 。 码 书 中 码 字 的 数量 就 称 为 码 书 的 尺寸 。 矢 量 编码 的 
过 程 就 是 在 码 书 Y 中 搜索 一 个 与 输入 矢量 XX; 最 接近 的 码 字 YY;,Y; 就 是 X; 的 矢量 量化 值 。 
传输 时 ,只 需 传输 码 字 的 下 标 i。 在 接收 端 解码 器 中 ,有 一 个 与 发 送 端 相 同 的 码 书 Y, 根 
据 接 收 的 标号 i 可 简单 地 用 查 表 法 找到 对 应 矢量 Y; 作为 XX; 的 近似 。 当 码 书 尺寸 为 N 时 ， 
传输 矢量 下 标 所 需 的 比特 数 为 logzN, 平 均 传输 矢量 中 一 维 信和 号 所 需 的 比特 数 为 
(1/k)logzN。 车 k= 二 16, N= 二 256, 则 比特 率 为 0. 5bit/ 维 。 

从 编码 原理 中 可 以 看 出 ,矢量 量化 编码 的 关键 技术 就 是 码 书 设计 和 码 字 搜索 。 

1. 码 书 设计 

矢量 量化 的 码 书 设计 是 把 维 空间 无 遗漏 地 划分 成 N 个 互 不 相交 的 子 空间 S, ,S: ,…， 
Sn ,并 在 每 个 子 空间 中 找 出 一 个 最 佳 的 矢量 Y; 作为 输出 码 字 。 码 书 的 优化 直接 影响 压缩 效 
率 和 数据 恢复 质量 。 在 接收 端 以 量化 值 Y; 再 现 X; ,必然 存在 失真 ,需要 满足 d (Xi,Y;) 王 
min(d(Xi,Y))),j 二 1,2,…,N, 其 中 d(X;,Y;) 是 输入 矢量 X; 与 码 字 Y; 之 间 的 失真 测度 。 
一 般 可 以 采用 均 方 误差 来 衡量 失真 测度 , 即 


dKis¥) = > (zs 一切) 
整个 信号 的 平均 失真 为 
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D= E[d(X,Y)]= >》)E[d(XY) ,XE Si] 


也 为 每 个 子 空间 失真 的 统计 平均 ,可 作为 衡量 恢复 信号 质量 的 指标 。 解 码 失 真 的 大 小 
主要 由 码 书 的 质量 决定 。 码 书 设计 的 过 程 就 是 寻求 把 M 个 训练 矢量 分 成 NCN<M) 类 的 
一 种 最 佳 方案 (使 得 均 方 误差 最 小 ), 而 把 各 类 的 质心 矢量 作为 码 书 的 码 字 。 然 而 ,在 N 和 
M 比较 大 的 情况 下 ,搜索 全 部 码 书 是 根本 不 可 能 的 。 为 了 克服 这 个 困难 ,各 种 现 有 的 码 书 
设计 方法 都 采取 搜索 部 分 码 书 的 方法 得 到 局 部 最 优 或 接近 全 局 最 优 的 码 书 。 所 以 研究 码 书 
设计 算法 的 目的 就 是 寻求 有 效 的 算法 尽 可 能 找到 全 局 最 优 或 接近 全 局 最 优 的 码 书 以 提高 码 
书 的 性 能 ,并 尽 可 能 降低 计算 复杂 度 。 

LBG 算法 是 一 种 直观 且 有 效 的 矢量 量化 码 书 设计 算法 ,是 由 Linde、Buzo 和 Gray 于 
1980 年 首先 提出 来 的 。 该 算法 基于 最 佳 矢量 量化 器 设计 的 最 佳 划分 和 最 佳 码 书 两 个 必要 
条 件 ,是 最 佳 标量 量化 在 矢量 空间 的 推广 ,其 物理 概念 清晰 ,算法 理论 严密 ,算法 实现 容易 。 
后 来 人 们 又 针对 该 算法 的 一 些 缺点 进行 改进 ,提出 了 许多 性 能 更 优 的 设计 算法 ,至今 仍 广泛 
应 用 。 

2. 码 字 搜 索 

矢量 量化 的 码 字 搜索 算法 就 是 在 码 书 已 经 存在 的 情况 下 ,对 某 个 输入 矢量 ,在 码 书 中 搜 
索 与 该 输入 矢量 之 间 失 真 最 小 的 码 字 。 矢 量 量化 中 最 常用 的 搜索 方法 是 全 搜索 算法 和 树 搜 
索 算 法 。 全 搜索 算法 与 码 书生 成 算法 基本 相同 。 如 果 采 用 平方 误差 作为 失真 测度 ,对 于 
维 矢量 ,每 次 失真 计算 需要 k 次 乘法 ,2k 一 1 次 加 法 ,因而 为 了 对 矢量 进行 穷尽 搜索 编码 需 
要 NA 次 乘法 .NC(2k 一 1) 次 加 法 和 N 一 1 次 比较 。 计 算 复杂 度 由 码 书 尺寸 和 矢量 维 数 决定 。 
对 于 大 尺寸 码 书 和 高 维 矢量 ,计算 复杂 度 会 很 大 。 研 究 码 字 搜 索 算法 的 主要 目的 就 是 寻找 
快速 有 效 的 算法 以 减少 计算 复杂 度 , 并 且 尽 量 使 得 算法 易于 用 硬件 实现 。 

随 着 算法 研究 的 进展 以 及 超大 规模 集成 电路 技术 的 飞速 发 展 ,矢量 量化 编码 器 在 语音 
编码 .语音 识别 与 合成 .图 像 压 缩 等 领域 被 广泛 应 用 。 实 验证 明 , 即 使 各 信 源 符号 相互 独立 ， 
多 维 量 化 也 可 压缩 信息 率 , 这 就 使 矢量 量化 成 为 当前 连续 信 源 编码 研究 的 一 个 热点 。 可 是 
当 维 数 较 大 时 ,矢量 量化 尚 无 解析 方法 ,只 能 求助 于 数值 计算 ; 而 且 联合 概率 密度 也 不 易 测 
定 ,还 需 采用 训练 序列 等 方法 。 一 般 来 说 ,高 维 矢 量 联合 很 复杂 , 虽 已 有 不 少 方法 ,在 实用 时 
尚 有 不 少 困难 ,有 待 进一步 研究 。 


5.4.6 预测 编码 


前 面 介 绍 的 编码 方法 都 是 考虑 独立 的 信 源 序列 。 和 霍 夫 曼 码 对 于 独立 多 值 信 源 符号 很 有 
效 ; 二 元 序列 的 游程 编码 实际 上 是 为 了 把 二 值 序列 转化 成 多 值 序列 以 适应 霍 夫 曼 编码 ; 多 
个 二 元 符号 合并 成 一 个 符号 的 方法 也 有 类 似 的 情况 。 算 术 码 对 于 独立 二 元 信 源 序列 是 很 有 
效 的 ,对 于 相关 信 源 虽然 可 采用 条 件 概率 来 编码 ,以 达到 高 效率 ,但 这 样 做 所 引起 的 复杂 度 ， 
往往 使 之 难以 实现 。 由 信息 论 可 知 ,对 于 相关 性 很 强 的 信 源 ,条 件 炉 可 远 小 于 无 条 件 炉 , 因 
此 人 们 常 采 用 尽量 解除 相关 性 的 办 法 ,使 信 源 输出 转化 为 独立 序列 ,以 利于 进一步 压缩 
码 率 。 

常用 的 解除 相关 性 的 两 种 措施 是 预测 和 变换 。 它 们 既 适应 于 离散 信 源 ,也 可 用 于 连续 
信 源 。 其 实 两 者 都 是 序列 的 变换 。 一 般 来 说 ,预测 有 可 能 完全 解除 序列 的 相关 性 ,但 必须 确 
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知 序列 的 概率 特性 ; 变换 编码 一 般 只 解除 矢量 内 部 的 相关 性 ,但 它 可 有 许多 可 供 选 择 的 变 
换 矩 阵 ,以 适应 不 同 信 源 特性 。 这 在 信 源 概率 特性 未 确 知 或 非 平稳 时 可 能 有 利 。 
本 节 介 绍 预测 的 一 般 理 论 和 方法 。 
预测 就 是 从 已 收 到 的 符号 中 提取 关于 未 收 到 的 符号 的 信息 ,从 而 预测 其 最 可 能 的 值 作 
为 预测 值 ,并 对 它 与 实际 值 之 差 进行 编码 ,达到 进一步 压缩 码 率 的 目的 。 由 此 可 见 ,预测 编 
码 是 利用 信 源 的 相关 性 来 压缩 码 率 的 ,对 于 独立 信 源 ,预测 就 没有 可 能 。 
预测 的 理论 基础 主要 是 估计 理论 。 估 计 就 是 用 实验 数据 组 成 一 个 统计 量 作为 某 一 物理 
量 的 估 值 或 预测 值 。 最 常见 的 估计 是 利用 某 一 物理 量 在 被 干扰 下 所 测定 的 实验 值 ,这 些 值 
是 随机 变量 的 样 值 , 可 根据 随机 量 的 概率 分 布 得 到 一 个 统计 量 作为 估 值 。 若 估 值 的 数学 期 
望 等 于 原来 的 物理 量 ,就 称 这 种 估计 为 无 偏 估 计 ; 若 估 值 与 原 物 理 量 之 间 的 均 方 误差 最 小 ， 
就 称 之 为 最 佳 估 计 。 用 来 预测 时 ,这 种 估计 就 成 为 均 方 误差 最 小 的 预测 ,所 以 也 就 认为 这 种 
预测 是 最 佳 的 。 
要 实现 最 住 预测 就 需要 找到 计算 预测 值 的 预测 函数 。 设 有 信 源 序列 zi ,zz，…，,zr， 
Zr+t1"”…。T 阶 预测 就 是 由 1 ,zx2，… ,zx, 来 预测 zz,4+1。 可 令 预 测 值 为 
ZHI 一 fxisxrs ss 7) 
其 中 / 是 待定 的 预测 函数 。 要 使 预测 值 具有 最 小 均 方 误差 ,必须 确 知 ~ 十 1 个 变量 (zi， 
zzzryzrt) 的 联合 概率 密度 函数 ,这 在 一 般 情 况 下 是 困难 的 。 因 而 常用 线性 预测 的 方 
法 来 达到 次 最 佳 的 结果 。 线 性 预测 就 是 预测 函数 为 各 已 知 信 源 符号 的 线性 函数 , 即 zx,+ 的 
预测 值 
z= f(x1sx2 ,Tr) 一 Sag, (5-4-16) 
并 求 均 方 误差 
D= E(xzn— zn)’ (5-4-17) 
最 小 时 的 各 a, 值 。 可 将 式 (5-4-16) 代 入 式 (5-4-17) ,对 各 a, 取 偏 导 并 置 零 ,得 到 


入 二 一 E{ (zn 一 Daa) 一 0 


只 需 已 知 信 源 各 符号 之 间 的 相关 函数 即 可 进行 运算 。 
最 简单 的 预测 是 令 
ZrH 一 Zz 
这 可 称 为 零 阶 预测 ,常用 的 差 值 预测 就 属 这 类 。 高 阶 线性 预测 已 在 语音 编码 ,尤其 是 声 码 器 
中 广泛 采用 。 如 果 信 源 是 非 平稳 的 或 非 概 率 性 的 ,无 法 获得 确切 和 恒定 的 相关 函数 ,不 能 构 
成 线性 预测 函数 ,可 采用 自 适 应 预测 的 方法 。 一 种 常用 的 自 适应 预测 方法 是 设 预 测 函 数 是 
前 几 个 符号 值 的 线性 组 合 , 即 令 预 测 函 数 为 


= P 
x 三 Nai 
s=1 


再 用 已 知 信 源 序列 来 确定 各 系数 a ,使 对 该 序列 所 造成 的 均 方 误差 D 最 小 。 此 时 的 各 系数 
a; 并 不 能 保证 对 该 信 源 发 出 的 所 有 序列 都 适用 ,只 有 在 平稳 序列 情况 下 ,这 种 预测 的 均 方 
误差 可 逼近 线性 预测 时 的 最 小 值 。 随 着 序列 的 延长 ,各 系数 a, 可 根据 以 后 的 ”个 符号 值 来 
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计算 ,因而 将 随 序列 的 延长 而 变更 ,也 就 是 可 不 断 适 应 序列 的 变化 ,适用 于 缓 变 的 非 平稳 信 
源 序 列 。 

利用 预测 值 来 编码 的 方法 可 分 为 两 类 : 一 类 是 用 实际 值 与 预测 值 之 差 进行 编码 ,也 称 
为 差 值 编码 。 常 用 于 相关 性 强 的 连续 信 源 ,也 可 用 于 离散 信 源 。 在 连续 信 源 的 情况 下 ,就 是 
对 此 差 值 进行 量化 或 取 一 组 差 值 进行 矢量 量化 。 由 于 相关 性 很 强 的 信 源 可 较 精确 地 预测 待 
编码 的 值 ,该 差 值 的 方差 将 远 小 于 原来 的 值 ,所 以 在 同样 失真 要 求 下 ,量化 级 数 可 明显 地 减 
少 , 从 而 较 显著 地 压缩 码 率 。 对 于 离散 信 源 也 有 类 似 的 情况 。 

另 一 类 方法 是 根据 差 值 的 大 小 ,决定 是 否 需 传送 该 信 源 符号 。 例 如 可 规定 某 一 可 容许 
值 s, 当 差 值 小 于 该 值 时 可 不 传送 。 对 于 连续 函数 或 相关 性 很 强 的 信 源 序列 , 常 有 很 长 一 串 
符号 可 以 不 传送 而 只 需 传送 这 串 符号 的 个 数 ,这 样 能 大 量 压 缩 码 率 。 这 类 方法 一 般 是 按 信 
答 要 求 设计 的 ,也 就 是 失真 应 能 满足 信和 宿 需 求 。 


5.4.7 变换 编码 


变换 是 一 个 广泛 的 概念 。 在 通信 系统 中 , 常 希望 把 信号 进行 变换 以 达到 某 一 目的 。 信 
源 编码 实际 上 就 是 一 种 变换 ,使 之 能 在 信道 中 更 有 效 地 传送 。 这 里 将 讨论 的 变换 是 数学 意 
义 上 的 一 一 对 应 变换 。 变 换 编码 就 是 经 过 变换 后 的 信号 的 样 值 能 更 有 效 地 编码 ,也 就 是 通 
过 变换 来 解除 或 减弱 信 源 符号 间 的 相关 性 ,再 将 变换 后 的 样 值 进 行 标量 量化 ,或 采用 对 于 独 
立信 源 符 号 的 编码 方法 ,以 达到 压缩 码 率 的 目的 。 

首先 讨论 变换 的 一 般 原理 , 即 连续 函数 的 变换 。 

设 有 函数 f(1) ,0 二 1: 二 T 

row 一 = (5-4-18) 


该 函数 是 希 尔 伯 特 空间 LC0,T) 的 一 个 矢量 ,其 维 数 是 可 数 无 限 , 它 的 坐标 系 将 可 用 一 个 完 
备 正 交 函 数 系 来 表征 。 
设 有 一 个 完备 正 交 归 一 函数 系 g(i,1) ,i 二 0,1,2,…。 正 交 性 就 是 


| resoeG,od =0, i 二 (5-4-19) 
归 一 性 就 是 
[ep =1 (5-4-20) 
则 可 把 f() 展 开 为 
Co) = Sap (5-4-21) 


其 中 a; 是 待定 系数 ,可 用 有 限 项 逼近 时 的 均 方 误差 最 小 准则 来 求 。 即 
也 , = 站 ro 二 Hag | a 


aD, T A . 
ee | 二 对 六 六 一 Sap did Je d 


利用 函数 p(i,z) 的 正 交 归 一 性 式 (5-4-19) 和 式 (5-4-20) ,可 得 


i 
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T 
Qi =| f(D opi, dt (5-4-22) 
o 
如 果 


limD,—0 

称 为 上 述 正 交 函 数 系 是 完备 的 ,此 时 式 (5-4-21) 才 成 立 。 不 然 就 是 不 完备 的 ,因而 式 (5-4-22) 
也 就 不 成 立 。 

与 欧 几 里 德 空间 类 比 ,可 见 式 (5-4-21) 实 际 上 就 是 把 函数 矢量 分 解 成 各 坐标 分 量 ， 
式 (5-4-22) 就 相当 于 内 积 运算 ,把 函数 f(1) 投 影 到 g(i,1) 上 去 。 

通过 上 述 变 换 , 就 把 函数 f(z) 变 换 成 一 系列 离散 的 系数 i , 若 已 给 定 这 些 系数 ,就 可 用 
式 (5-4-21) 恢 复 函 数 /(4) 而 不 产生 误差 ,所 以 这 种 变换 是 可 道 的 。 如 果 只 取 有 限 个 系数 ， 
恢复 时 就 会 引入 误差 。 

我 们 所 熟悉 的 傅 里 叶 变换 具有 正 交 归 一 性 函数 系 , 但 从 解除 相关 性 的 意义 上 说 , 傅 里 叶 
变换 不 是 一 种 很 好 的 变换 。 要 有 效 地 解除 相关 性 , 正 交 函数 系 必须 根据 信 源 的 相关 函数 来 

按 均 方 误差 最 小 准则 来 推算 ,有 一 种 正 交 变换 叫做 K-L 变换 (Karhunen-Loeve 
transform) ,可 使 变换 后 的 随机 变量 之 间 互 不 相关 。 一 般 认为 K-L 变换 是 压缩 编码 的 最 佳 
变换 ,评价 其 他 变换 时 , 常 与 它 进行 比较 。K-L 变换 的 最 大 缺点 是 计算 复杂 ,除了 需 测 定 相 
关 函 数 和 解 积分 方程 外 ,变换 时 的 运算 也 十 分 复杂 , 尚 无 快速 算法 可 用 。 

以 上 的 变换 是 在 时 间 上 连续 的 信 源 输出 zx(7) 中 取 一 段 (0,T) 进 行 积分 运算 ,得 到 一 系 
列 系数 aj,i 二 0,1,2,… ,截取 有 限 个 n( 即 i==0,1,2,…,n 一 1) 并 对 各 a; 进行 量化 ,达到 信 源 
编码 的 目的 。 这 种 方法 在 实际 编码 时 较 少 应 用 ,因为 积分 运算 一 般 来 说 是 比较 困难 的 ,而 且 
除了 量化 各 系数 时 将 引入 失真 外 ,截取 有 限 个 系数 也 会 引入 失真 。 要 保持 失真 在 某 一 限度 
内 ,可 能 量化 级 数 要 有 一 定 的 增多 ,从 而 使 码 率 有 所 上 升 。 

另 一 种 方法 是 先 对 信 源 输出 z(z) 取 样 , 得 到 一 系列 离散 值 zx(i ,一 0,1,2,…, 然 后 取 
NN 个 样 值 形成 一 个 N 维 矢量, 对 该 矢量 用 矩阵 进行 变换 ,成 为 男 一 域内 的 NN 维 矢量 ,以 解 
除 或 减弱 矢量 内 各 分 量 的 相关 性 。 再 对 后 一 个 分 量 进行 标量 量化 或 对 矢量 进行 矢量 量化 来 
完成 信 源 编码 。 此 时 的 变换 已 不 用 积分 运算 而 是 用 和 矩阵 运算 。 若 变换 所 用 的 矩阵 选 得 恰 
当 , 就 可 达到 压缩 码 率 的 要 求 。 用 和 矩阵 来 变换 常 称 为 离散 变换 。 

其 实 取样 也 是 一 种 把 连续 函数 变换 成 时 间 上 离散 的 一 系列 值 的 变换 。 此 时 变换 所 用 的 
正 交 函 数 是 单元 脉冲 函数 6(4 一 i,7) .i 二 0,1,2,…,t 是 取样 间隔 。 单 元 脉冲 函数 系 的 正 交 
性 和 完备 性 是 明显 的 ,但 这 里 已 不 是 截取 一 段 (0,T) 信 源 输出 而 是 连续 进行 取样 运算 。 要 
使 变换 能 一 一 对 应 ,也 就 是 能 无 失真 地 恢复 原来 的 连续 函数 , 信 源 输出 必须 是 限 频 的 。 若 其 
最 高 频率 是 六 , 则 取样 间隔 = 必须 小 于 1/2f', ,才能 使 变换 可 逆 , 不 然 将 引入 失真 。 实 际 上 
连续 信 源 常 是 限 频 的 ,尤其 对 信 宿 来 说 ,频率 大 于 一 定 值 的 含量 , 信 宿 已 不 感 兴趣 或 已 不 能 
感受 ,语音 和 图 像 对 人 耳 与 人 眼 分 别 都 有 这 种 情况 ,所 以 限 频 的 要 求 常 是 能 满足 的 。 这 样 既 
避免 了 积分 运算 ,也 不 致 引入 额外 失真 ,因此 实际 上 常 采 用 离散 变换 。 

上 面 提 到 的 伟 里 叶 变 换 就 有 其 相应 的 离散 变换 ,只 需 将 以 前 的 正 交 函 数 取样 即 得 。 令 
取样 点 为 1 二 kT/N.k 二 0,1,2,… ,NN 一 1 ,变换 和 矩阵 的 元 为 
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an = we/ VN 
其 中 w= 二 e** ,变换 和 反 变换 写成 矩阵 形式 分 别 为 

[ yo ]] 1 1 1 has | Xo 

六 1 w w? ww Ti 

而 -去 1 好 wt ap || 2, (5-4-23) 
be | 1 we wD wD 0 
和 Zo ] 1 1 和 yo 

x 1 vw wr’”? wD yi 

| > . #2(N-i 

国 = 页 wr”? 而 只 se || 3 (5-4-24) 

| ] 1 we waND wo oD | yn 


经 傅 里 叶 变 换 后 的 输出 各 分 量 间 的 相关 系数 将 与 原 输 入 过 程 的 相关 函数 有 关 。 一 般 来 
说 ,输入 过 程 的 相关 系数 越 接 近 1, 输 出 各 分 量 间 的 相关 函数 越 小 ,也 就 是 说 傅 里 叶 变换 对 
强 相关 的 信 源 是 有 效 的 。 此 外 各 输出 分 量 的 方差 将 不 同 , 有 大 有 小 , 即 经 变换 后 能 量 有 所 集 
中 ,这 对 压缩 码 率 也 是 有 利 的 。 

离散 傅 里 叶 变换 虽 有 快速 算法 (FDFT 或 FFT) 可 减少 计算 量 , 但 运算 将 在 复数 域内 
进行 ,这 是 不 方便 的 ,在 实用 中 常用 离散 余弦 变换 (DCT)。 尤 其 是 对 视频 图 像 信号 ,其 统 
计 特 性 接近 一 阶 马 尔 可 夫 链 ,离散 余弦 变换 的 正 交 矢量 近似 于 相应 的 K-L 变换 的 正 交 
矢量 。 

余弦 变换 的 完备 正 交 归 一 函数 系 是 


1 
(0,1) = 一 一 
M VN 


gli,t) = os， 1 € (0,T) 
对 这 些 函 数 在 (0,T) 内 取 N 个 样 值 , 即 得 离散 余弦 变换 矩阵 的 元 
Qok 一 I VN 


ou = V2/N) cos[(2k++ 1)ix/N] 
变换 和 反 变换 的 和 矩阵 形式 就 分 别 为 


1 1 1 
六 V2 AZ V2 
A 37 N= 1 
| a 2 cos 2N COS 2N COS -yi 3 
N 全 : . : 人 
LA 一 1 3CON 一 TD) N= = 
COS 开 PO Sas 人 


2N 2N 2N 
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二 COS COS N 一 1 
捷 2N 2N 
” 1 3x 3CN 一 1) ， 
加 -加 | 厅 COS 2N ee COS ToN ™ yi 
N|. : 
a 1 wlN-l, .2 00 CN—DN-D | 
万 2N 2N 


在 离散 变换 中 ,最 佳 变 换 也 是 K-L 变换 。 其 正 交 矢量 系 和 变换 矩阵 可 根据 输入 矢量 各 
分 量 间 的 相关 系数 来 求 ,而 不 用 解 积分 方程 ,只 需求 相关 矩阵 的 特征 值 和 特征 矢量 。 容 易 验 
证 经 过 K-L 变换 后 输出 矢量 的 相关 系数 为 零 , 即 它 能 完全 解除 输出 矢量 间 的 线性 相关 人 性， 
且 各 分 量 的 方差 就 是 各 特征 值 ,它们 各 不 相等 ,下 降 很 快 。 在 实际 编码 时 ,后 面 几 个 分 量 , 方 
差 已 很 小 ,往往 可 以 不 传送 ,有 利于 压缩 编码 。 

还 有 很 多 离散 变换 ,如 正 反 变 换 和 矩阵 都 相同 的 离散 哈 尔 (Harr) 变换 和 离散 沃 尔 什 
(Walsh) 变 换 ; 由 有 限 维 正 交 矢量 系 导 出 的 广泛 用 于 电视 信和 号 编码 的 斜 变换 和 多 重 变换 ， 
可 把 信号 分 割 成 多 个 窄带 以 解除 或 减弱 信号 样 值 间 相 关 性 的 子 带 编码 和 小 波 变换 等 。 在 实 
际 应 用 中 ,需要 根据 信 源 特性 来 选择 变换 方法 以 达到 解除 相关 性 ` 压 缩 码 率 的 目的 。 另 外 ， 
还 可 以 根据 一 些 参 数 来 比较 各 种 变换 方法 间 的 性 能 优 劣 ,如 反映 编码 效率 的 编码 增益 、 反 映 
编码 质量 的 块 效应 系数 等 。 当 信 源 的 统计 特性 很 难 确 知 时 ,可 用 各 种 变换 分 别 对 信 源 进行 
变换 编码 ,然后 用 实验 或 计算 机 仿真 来 计算 这 些 参数 。 


本 章 小 结 


本 章 从 信 源 编码 的 模型 出 发 ,介绍 了 信 源 编码 的 目的 ,引出 了 信息 传输 速率 和 编码 效率 
的 概念 ,重点 论述 了 无 失真 信 源 编码 定理 ,从 而 引出 了 几 种 最 佳 编码 方法 ,并 简单 介绍 了 限 
失真 编码 定理 。 

编码 的 定义 : 分 组 码 、 变 长 码 非 奇异 码 、 唯 一 可 译 码 、 即 时 码 , 非 延长 码 。 


唯一 可 译 码 存在 的 充分 和 必要 条 件 , 克 劳 夫 特 不 等 式 : > or 之 1 
i=1 


编码 效率 : /一 了 


无 失真 信 源 编码 定理 (香农 第 一 编码 定理 ) : 
定 长 编码 定理 : Plogm> Hi +e 


变 长 编码 定理 : 上 EL CO < KR 一 CO 
logm logm 


最 佳 变 长 码 : 香农 (Shannon) 编 码 

限 失 真 信 源 编码 定理 (香农 第 三 编码 定理 ): R(D)<K<R(D)+e 

几 种 常用 信 源 编码 方法 : 哈 夫 曼 (Huffman) 编 码 、 算 术 编 码 .LZ 编码 游程 编码 .矢量 
量化 编码 ,预测 编码 、 变 换 编码 。 


中 
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习题 

5-1 将 某 六 进 制 信 源 进行 二 进 制 编码 如 下 ,试问 : 

消息 概率 CG C Cs C Cs Ce 

a 1/2 000 0 0 0 1 01 
us 1/4 001 01 10 10 000 001 
ts 1/16 010 011 110 1101 001 100 
tu 1/16 011 0111 1110 1100 010 101 
us 1/16 100 01111 11110 1001 110 110 
us 1/16 101 011111 111110 1111 110 111 


(1) 这 些 码 中 哪些 是 唯一 可 译 码 ? 

(2) 哪些 码 是 非 延长 码 ( 即 时 码 )? 

(3) 对 所 有 唯一 可 译 码 求 出 其 平均 码 长 和 编码 效率 。 

5-2 已 知 信 源 的 各 个 消息 分 别 为 字母 A、.B、C、D, 现 用 二 进 制 码 元 对 消息 字母 作 信 源 
编码 ,A 一 (zo ,yo0) ,BY(zo,y1) ,CY(z1,yo),DY(z1,y1) ,每 个 二 进 制 码 元 的 长 度 为 5ms。 

(1) 若 各 个 字母 以 等 概率 出 现 ,计算 在 无 扰 离散 信道 上 的 平均 信息 传输 速率 。 

(2) 车 各 个 字母 的 出 现 概率 分 别 为 P(A)=1/5,P(B)=1/4,P(C)=1/4,P(D) 
3/10, 再 计算 在 无 扰 离散 信道 上 的 平均 信息 传输 速率 。 

(3) 车 字母 消息 改 用 四 进 制 码 元 作为 信 源 编码 , 码 元 幅度 分 别 为 0、1V、2V、3V, 码 元 长 
度 为 10ms。 重 新 计算 (1) 和 (2) 两 种 情况 下 的 平均 信息 传输 速率 。 

5-3” 设 信道 的 基本 符号 集合 A={a,az'as,ayai} ,它们 的 时 间 长 度 分 别 为 4 二 1， 
4s 二 2,4s 王 3.44 二 4,ts 王 5( 个 码 元 时 间 )。 用 这 样 的 信道 基本 符号 编 成 消息 序列 , 且 不 能 出 现 
(aiyai),(azyaz),(Caiyaz), Casai) 这 4 种 符号 相连 的 情况 。 

(1) 若 信 源 的 消息 集合 为 {ziyzzyza,…yzr} ,它们 的 出 现 概率 分 别 为 P(zi) 王 1/2， 
Plz:)=1/4,P(x3)=1/8,P(z,)=1/16,P(zs)=1/32,P(zs)==P(zx;)==1/64。 试 按 最 佳 
编码 原则 利用 上 述 信道 来 传输 这 些 消 息 时 的 信息 传输 速率 ; 

(2) 求 上 述 信 源 编码 的 编码 效率 。 

5-4 若 消息 符号 、 对 应 概率 分 布 和 二 进 制 编码 如 下 : 

消息 符号 : uo ul us us 

概率 : 1/2 1/4 1/8 1/8 

编码 : 0 1 10 111 

试 求 : (1) 消息 符号 人 ; 

(2) 每 个 消息 符号 所 需 的 平均 二 进 码 个 数 ; 

(3) 车 各 消息 符号 间 相 互 独立 , 求 编码 后 对 应 的 二 进 码 序列 中 出 现 “0” 和 “1” 的 无 条 件 
概率 p。 和 pi, 以 及 相 邻 码 间 的 条 件 概率 p(111)、p(011)、p(110) 和 pC010)。 

5-5 某 信 源 有 8 个 符号 { ww,…,us), 概 率 分 别 为 1/2、1/4、1/8、1/16、1/32、1/64、 
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1/128、1/128, 编 成 这 样 的 码 : 000,001,010,011,100,101,110,111。 

(1) 求 信 源 的 符号 炉 HG); 

(2) 求 出 现 一 个 “1” 或 一 个 “0” 的 概率 ; 

(3) 求 这 种 码 的 编码 效率 ; 

(4) 求 出 相应 的 香农 码 ; 

(5) 求 该 码 的 编码 效率 。 

5-6” 设 无 记忆 二 元 信 源 ,概率 为 如 一 0. 005, 思 一 0.995。 信 源 输出 N= 二 100 的 二 元 序 
列 。 在 长 为 N==100 的 信 源 序列 中 只 对 含有 3 个 或 小 于 3 个 “0” 的 各 信 源 序列 构成 一 一 对 
应 的 一 组 定 长 码 。 

(1) 求 码 字 所 需 的 最 小 长 度 。 

(2) 考虑 没有 给 予 编码 的 信 源 序列 出 现 的 概率 ,该 定 长 码 引起 的 错误 概率 已 是 多 少 ? 

5-7 已 知 符号 集合 {z,zz,zs,…)} 为 无 限 离散 消息 集合 ,它们 的 出 现 概率 分 别 为 
plx1)=1/2,p(7x2)=1/4,p(7x3)=1/8,°, p(x) =1/2',*。 

(1) 用 香农 编码 方法 写 出 各 个 符号 消息 的 码 字 。 

(2) 计算 码 字 的 平均 信息 传输 速率 。 

(3) 计算 信 源 编码 效率 。 

5-8” 某 信 源 有 6 个 符号 ,概率 分 别 为 3/8、1/6、1/8、1/8、1/8、1/12, 试 求 三 进 码 元 (0,1,2) 
的 哈 夫 曼 码 ,并 求 出 编码 效率 。 

5-9 若 某 一 信 源 有 N 个 符号 ,并 且 每 个 符号 均 以 等 概 出 现 , 对 此 信 源 用 最 佳 哈 夫 曼 二 
元 编码 , 问 当 N==2* 和 =2 十 1(; 为 正 整数 ) 时 ,每 个 码 字 的 长 度 等 于 多 少 ? 平均 码 长 是 
多 少 ? 

5-10 设 有 离散 无 记忆 信 源 P(X)=={0. 37,0.25,0.18,0.10,0.07,0.03)。 

(1) 求 该 信 源 符号 炉 HCX)。 

(2) 用 哈 夫 曼 编码 编 成 二 元 变 长 码 , 计 算 其 编码 效率 。 

(3) 要 求 译 码 错误 小 于 10-? ,采用 定 长 二 元 码 要 达到 (2) 中 哈 夫 曼 编码 的 效率 , 问 需要 
多 少 个 信 源 符号 一 起 编 ? 

5-11 信 源 符号 X 有 6 种 字母 ,概率 为 0. 32.0. 22,0. 18,0.16,0.08,0.04。 

(1) 求 符号 炉 H(X)。 

(2) 用 香农 编码 编 成 二 进 制 变 长 码 , 计 算 其 编码 效率 。 

(3) 用 哈 夫 曼 编码 编 成 二 进 制 变 长 码 ,计算 其 编码 效率 。 

(4) 用 哈 夫 曼 编码 编 成 三 进 制 变 长 码 ,计算 其 编码 效率 。 

(5) 若 用 逐个 信 源 符号 来 编 定 长 二 进 制 码 ,要 求 能 不 出 差错 译 码 , 求 所 需要 的 每 符号 的 
平均 信息 率 和 编码 效率 。 

(6) 当 译 码 差 错 小 于 10 的 定 长 二 进 制 码 要 达到 (3) 中 哈 夫 曼 的 效率 时 ,估计 要 多 少 个 
信 源 符号 一 起 编 才 能 办 到 ? 

5-12 已 知 一 信 源 包含 8 个 消息 符号 ,其 出 现 的 概率 为 P(X) 一 {0.1,0.18,0.4,0.05， 
0.06,0.1,0.07,0.04}。 

(1) 该 信 源 在 每 秒 内 发 出 1 个 符号 , 求 该 信 源 的 炉 及 信息 传输 速率 。 

(2) 对 这 8 个 符号 进行 哈 夫 曼 编码 , 写 出 相应 码 字 , 并 求 出 编码 效率 。 
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(3) 采用 香农 编码 , 写 出 相应 码 字 , 求 出 编码 效率 。 

5-13 ” 某 信 源 有 9 个 符号 ,概率 分 别 为 1/4、1/4、1/8、1/8、1/16、1/16、1/16、1/32、1/32， 
用 三 进 制 符号 (a,5,c) 编 码 。 

(1) 编 出 哈 夫 曼 码 ,并 求 出 编码 效率 ; 

(2) 若 要 求 符号 c 后 不 能 紧 跟 另 一 个 c , 编 出 一 种 有 效 码 ,其 编码 效率 是 多 少 ? 

5-14 一 信 源 可 能 发 出 的 数字 有 1、2、3、4、5、6、7, 对 应 的 概率 分 别 为 bp(1) 一 户 (2) 一 
1/3,p(3) 二 p(4)==1/9,p(5) 二 p(6) 二 p(7) 二 1/27, 在 二 进 制 或 三 进 制 无 噪 信道 中 传输 ,二 
进 制 信道 中 传输 一 个 码 字 需要 1. 8 元 ,三 进 制 信道 中 传输 一 个 码 字 需要 2.7 元 。 

(1) 编 出 二 进 制 符号 的 哈 夫 曼 码 , 求 其 编码 效率 ; 

(2) 编 出 三 进 制 符号 的 哈 夫 曼 码 , 求 其 编码 效率 ; 

(3) 根据 (1) 和 (2) 的 结果 ,确定 在 哪 种 信道 中 传输 可 得 到 较 小 的 花费 ? 

5-15 ”有 二 元 独立 序列 ,已 知 po 二 0.9,p1 二 0.1, 求 这 序列 的 符号 炉 。 当 用 霍 夫 曼 编码 
时 ,以 3 个 二 元 符号 合成 一 个 新 符号 , 求 这 种 符号 的 平均 代码 长 度 和 编码 效率 。 设 输入 二 元 
符号 的 速率 为 每 秒 100 个 ,要 求 3 分 钟 内 溢出 和 取 空 的 概率 均 小 于 0. 01, 求 所 需 的 信道 码 
率 (bit/s) 和 存储 器 容量 (比特 数 )。 若 信道 码 率 已 规定 为 50bit/s, 存 储 器 容量 将 如 何 选择 ? 

5-16 ”离散 无 记忆 信 源 发 出 a.w 两 种 符号 ,其 概率 分 布 为 1/4.3/4。 若 信 源 输出 的 序列 
为 babba ,对 其 进行 算术 编码 并 计算 编码 效率 。 

5-17 ”离散 无 记忆 信 源 发 出 ec\2 两 种 符号 , 若 信 源 输出 的 序列 为 5abbabbbbabbabbb ,对 
其 进行 LZ 编码 。 

5-18 ”在 电视 信号 中 ,亮度 信号 的 黑色 电 平 为 0, 白色 电 平 为 L。 用 均匀 分 割 来 量化 其 
样 值 ,要 求 峰 功率 信 扰 比 大 于 50dB, 求 每 样 值 所 需 的 量化 比特 数 。 
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信道 编码 是 以 信息 在 信道 上 的 正确 传输 为 目标 的 编码 , 它 可 分 为 两 个 层次 : 一 是 如 何 
正确 接收 载 有 信息 的 信号 ,二 是 如 何 避 免 少量 差错 信号 对 信息 内 容 的 影响 。“ 通 信和 原理 ? 课 
程 内 容 侧重 于 前 者 ,例如 ,在 数字 基带 信号 传输 中 讨论 的 编码 ,主要 目标 或 是 为 了 消除 直流 
分 量 , 或 是 为 了 改造 信号 频谱 以 适应 信道 特性 ,或 是 为 了 便于 在 信号 流 中 提取 时 钟 频率 ,或 
是 为 了 数字 信号 的 透明 传输 。 还 有 的 是 为 了 压缩 占用 带宽 、 抑 制 码 间 干 扰 , 如 部 分 响应 系 
统 。 这 个 层次 上 的 码 , 如 曼彻斯特 码 .AMI 码 .HDB; 人 码 .nBmB 码 、 部 分 响应 系统 中 的 相关 
编码 等 ,一 般 称 之 为 线路 编码 (line code) ,有 时 也 被 人 混 称 为 信道 编码 。 然 而 ,从 信息 论 角 
度 来 看 的 信道 编码 是 指 第 二 层次 的 编码 , 即 差错 控制 编码 ,包括 各 种 形式 的 纠 错 、 检 错 码 ,可 
统称 为 纠 错 编码 。 一 般 来 说 ,线路 编码 也 有 一 定 的 纠 检 错 能 力 ,例如 , 当 码 型 违背 了 约定 的 
编码 规则 时 就 可 判决 为 差错 ,但 这 上 毕竟 不 是 线路 码 的 主旨 ,而 且 这 些 码 的 纠 检 错 能 力也 极其 
有 限 ,不 足以 承担 差错 控制 任务 。 这 里 约定 ,本 书 讨论 的 信道 编码 是 指 纠 错 编码 。 


6.1 有 扰 离散 信道 的 编码 定理 


6.1.1 差错 和 差错 控制 系统 分 类 

1. 差错 符号 、 差 错 比 特 

纠 错 码 总 要 以 有 形 的 形式 来 传送 ,其 承载 信息 比特 的 基本 单位 “ 码 元 ”或 称 “ 符 号 ” 
(symbol) 就 是 有 形 的 信和 号 ,如 基带 脉冲 、 数 字 调 制 波形 等 。 一 旦 由 于 大 的 畸变 引起 符号 差 
错时 ,必然 导致 它 所 携带 的 信息 比特 发 生 差错 。 信 号 差错 与 信息 差错 既 有 联系 又 有 区 别 , 分 
别 用 差错 符号 、 差 错 比特 来 描述 它们 。 通 常 所 说 的 符号 差错 概率 ( 误 码 元 率 ) 是 指 信和 号 差错 
概率 ,而 误 比 特 率 是 指 信息 差错 概率 。 

对 于 二 进 制 传输 系统 ,符号 差错 等 效 于 比特 差错 ; 然而 对 于 多 进 制 系统 ,一 个 符号 差错 
到 底 对 应 多 少 比 特 差错 却 难以 确定 。 表 6-1 是 两 种 八 电 平 编码 方法 一 一 自然 二 进 码 和 反射 
二 进 码 的 比较 ,反射 二 进 码 也 称 格雷 码 或 循环 二 进 码 。 当 符号 从 量 级 3 畸变 为 量 级 4 而 产 
生 一 个 符号 差错 时 ,自然 二 进 码 导致 3bit 差错 而 反射 二 进 码 只 有 1bit 差错 ; 若 符号 电 平 从 
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量 级 3 畸变 为 6, 符 号 差错 仍然 算 一 个 ,但 两 种 编码 分 别 对 应 2bit 和 3bit 差错 。 可 见 , 符 号 
差错 率 与 比特 差错 率 之 间 关 系 并 不 是 固定 的 , 需 根据 具体 差错 及 编码 方式 来 确定 。 对 于 高 
斯 信道 ,最 可 能 的 符号 差错 是 畸变 一 个 量 级 的 差错 ,显然 这 时 反射 二 进 码 优 于 自然 二 进 码 ， 
因 反射 二 进 码 任何 相 邻 量 级 码 字 间 只 有 1bit 差异 。 

表 6-1 两 种 八 电 平 编 码 方法 比较 


量 级 自然 二 进 码 反射 二 进 码 
0 000 000 
1 001 001 
2 010 011 
3 011 010 
4 100 110 
5 101 111 
6 110 101 
7 111 100 


为 了 定量 地 描述 信号 的 差错 ,定义 收 、 发 码 之 “ 差 ” 为 差错 图 样 (error pattern) : 
差错 图 样 E = 发 码 C 一 收 码 R( 模 M) (6-1-1) 
例如 对 于 八进制 C(M 王 8) 码 元 , 若 发 码 C=(0,2,5,4,7,5,2) 而 收 码 变 为 R= (0,1,5,4， 
7,5,4) 时 ,差错 图 样 就 是 E=C 一 R=(0,1,0,0,0,0,6)。 
最 常用 的 二 进 制 码 可 当 作 特 例 来 研究 ,其 差错 图 样 等 于 收 码 与 发 码 的 模 2 加 
E=C@R 或 C=R@E (6-1-2) 
此 时 差错 图 样 中 的 “1” 既 是 符号 差错 也 是 比特 差错 ,差错 的 个 数 叫 汉 明 距离 。 

对 于 收 信 者 而 言 , 收 码 R 是 已 知 的 ,只 要 设法 找 出 差错 图 样 EE, 就 可 以 利用 式 (6-1-1) 估 
算出 发 码 C。 

2. 差错 图 样 类 型 

若 差 错 图 样 上 各 码 位 的 取 值 既 与 前 后 位 置 无 关 , 又 与 时 间 无 关 , 即 差错 始终 以 相等 的 概 
率 独立 发 生 于 各 码 字 、 各 码 元 、 各 比特 , 称 此 类 差错 为 随机 差错 。 加 性 高 斯 白 噪 声 (AWGN) 
信道 是 典型 的 随机 差错 信道 ,根据 该 信道 输入 、 输 出 信号 的 量化 情况 ,建立 了 二 元 对 称 信道 
(BSC) ,离散 无 记忆 信道 (CDMC) 等 编码 信道 模型 ,这 些 模 型 均 以 常数 概率 为 参数 来 描述 差 
错 发 生 规律 。 通 信 工 程 中 ,对 绞 线 、 同 轴 电 缆 、 光 纤 、 微 波 、 卫 星 、 深 空 通信 等 信道 均 可 被 视 作 
为 随机 差错 信道 。 

前 后 相关 成 堆 出 现 的 差错 称 为 突 发 差错 。 突 发 差错 总 是 以 差错 码 元 开头 、 以 差错 码 元 
结尾 , 头 尾 之 间 并 不 是 每 个 码 元 都 错 , 而 是 码 元 差错 概率 超过 了 某 个 额定 值 。 通 信 系统 中 的 
突 发 差错 多 由 突 发 噪声 引起 ,如 雷电 、 强 脉冲 、 电 火花 、 时 变 信道 的 衰落 移动 中 信号 的 多 径 
与 快 衰落 等 。 存 储 系统 中 的 突 发 差错 ,通常 来 源 于 磁带 、 
磁盘 . 磁 片 物理 介质 的 缺陷 、 读 写 头 的 拌 动 .接触 不 良 等 。 Py Pe 


与 随机 差错 一 样 , 突 发 差错 也 有 数学 模型 ,其 中 最 简 Co 5) 
单 实用 的 是 双 状态 一 阶 马 尔 可 夫 链 模型 ,也 称 为 吉尔 伯 特 去 
(Gilbert) 模 型 或 Gi 模型 ,如 图 6-1 所 示 。 吉 尔 伯 特 模型 有 
好 (G)、. 坏 (B) 两 个 状态 ,信道 在 任 一 时 刻 均 处 于 两 种 状态 图 6-1 吉尔 伯 特 模型 


B 
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之 一 。 设 信道 处 于 B 状态 时 误 码 概 率 Pu 很 大 ,信道 处 于 G 状态 时 误 码 概率 与 Pu 相 比 可 忽 
略 不 计 , 进 入 状态 B 就 意味 着 突 发 差错 产生 ,从 进入 状态 B 到 离开 状态 B 的 全 过 程 就 是 一 
个 完整 的 突 发 差错 。 信 道 在 状态 B 和 状态 G 之 间 转 移 , 两 个 方向 转移 的 概率 分 别 是 Pu 和 
Pw ,而 保持 在 原状 态 的 概率 分 别 为 1 一 Pw, 和 1 一 Pw ,于 是 用 3 个 参数 就 可 以 定义 一 个 吉尔 
伯 特 模型 : 状态 转移 概率 Ps,、Pw 及 状态 B 时 误 码 率 Ps。。 可 以 通过 数学 计算 得 出 吉尔 伯 特 
模型 所 代表 的 编码 信道 的 平均 误 码 率 是 

Pp. = ， (6-1-3) 
利用 吉尔 伯 特 模型 还 可 以 算出 码 长 n 的 码 组 内 产生 长 度 为 5( 宇 2) 的 实 发 差错 的 概率 了 。 

突 发 差错 信道 还 可 以 采用 更 复杂 的 模型 ,如 多 状态 、 高 阶 马尔 可 夫 链 等 ,但 由 于 这 种 信 
道 的 复杂 性 ,例如 要 考虑 突 发 差错 发 生 的 概率 、 频 度 、 突 发 长 度 的 数字 特征 、 突 发 持续 阶段 的 
误 码 特点 .差错 图 案 等 ,所 以 通用 的 复杂 模型 意义 不 大 ,工程 上 有 实用 价值 的 模型 均 是 针对 
具体 信道 的 ,例如 一 个 移动 信道 , 须 用 几 十 个 参数 去 描述 其 模型 。 

3. 纠 错 码 分 类 

从 不 同 角度 .不同 侧面 去 看 问题 ,可 以 对 纠 错 码 作出 不 同 的 归 类 。 

(1) 从 功能 角度 ,差错 码 分 成 两 类 : 一 类 用 于 发 现 差错 , 叫 检 错 码 ; 另 一 类 要 求 能 自动 
纠正 差错 , 叫 纠 错 码 。 纠 错 码 与 检 错 码 在 理论 上 没有 本 质 区 别 , 只 是 应 用 场合 不 同 , 而 侧重 
的 性 能 参数 不 同 。 本 书 以 后 提 到 的 纠 错 编码 自然 包括 检 错 码 在 内 。 

(2) 按照 对 信息 序列 的 处 理 方法 ,有 分 组 码 和 卷 积 码 两 种 。 分 组 码 (block code) 将 信息 
序列 分 割 为 k 位 一 组 后 独立 编 解码 ,分 组 间 互 相 无 关 。 卷 积 码 (convolutional code) 也 先 将 
信息 序列 分 组 ,不 同 的 是 编 解 码 运算 不 仅 与 本 组 信息 有 关 , 而 且 还 与 前 面 若 干 组 有 关 。 

(3) 按照 码 元 与 原始 信息 位 的 关系 ,分 为 线性 码 与 非 线 性 码 。 线 性 码 的 所 有 码 元 均 是 
原始 信息 元 的 线性 组 合 ,编码 器 不 带 反 馈 回路 。 非 线性 码 的 码 元 并 不 都 是 信息 元 的 线性 组 
合 , 可 能 还 与 前 面 已 编 的 码 元 有 关 , 编 码 器 可 能 含 反馈 回路 。 由 于 非 线性 码 的 分 析 比 较 困 
难 , 早 期 实用 的 纠 错 码 多 为 线性 码 ,但 当今 发 现 的 很 多 好 码 恰恰 是 非 线性 码 。 

从 另 一 角度 看 ,假设 Ci、C; 是 某 (n,k) 分 组 码 的 两 个 码 字 ,a 、as 是 码 元 字符 集 里 的 任意 
两 个 元 素 ,那么 当 且 仅 当 aiC; 十 azG; 也 是 码 字 时 , 才 称 该 码 是 线性 的 ,或 称 为 群 码 。 

(4) 按照 适用 的 差错 类 型 ,分 成 纠 随机 差错 码 和 纠 突 发 差错 码 两 种 ,也 有 介 于 中 间 的 纠 
随机 / 突 发 差错 码 。 纠 随机 差错 码 用 于 随机 差错 信道 ,其 纠 错 能 力 用 码 组 或 码 段 内 允许 的 独 
立 差 错 的 个 数 来 衡量 。 纠 突 发 差错 码 针 对 突 发 差错 而 设计 ,其 纠 错 能 力主 要 用 可 纠 突 发 差 
错 的 最 大 长 度 来 衡量 。 

(5) 按照 构 码 理论 来 分 ,有 代数 码 、 几 何 码 ,算术 码 、 组 合 码 等 。 代 数码 的 理论 基础 是 近 
世代 数 ,几何 码 的 理论 基础 是 投影 几何 ,算术 码 的 理论 基础 是 数论 、 高 等 算术 ,组 合 码 的 理论 
基础 是 排列 组 合 和 数论 , 需 使 用 同 余 、 拉 丁 方 阵 、 阿 达 玛 矩阵 等 数学 方法 。 

除了 上 述 分 类 外 ,有 多 少 观 察 问题 的 角度 ,就 有 多 少 种 分 类 方法 。 例 如 , 按 每 个 码 元 的 
取 值 ,可 以 分 为 二 进 制 码 与 多 进 制 码 ; 按 码 字 之 间 的 关系 ,有 循环 码 和 非 循 环 码 之 分 。 不 同 
的 分 类 方法 只 是 从 不 同 的 角度 抓 住 码 的 某 一 特性 加 以 归 类 而 已 ,并 不 能 说 明 某 个 码 的 全 部 


中 王 新 梅 . 纠 错 码 与 差错 控制 .北京 人 民 邮 电 出 版 社 ,1989 
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特性 。 例 如 , 某 线性 码 可 能 同时 又 是 分 组 码 、 循 环 码 、 纠 突 发 差错 码 、 代 数码 、 二 进 码 。 

4. 差错 控制 系统 分 类 

从 系统 的 角度 ,运用 纠 / 检 错 码 进行 差错 控制 的 基本 方式 大 致 分 成 三 类 : 前 向 纠 错 
(forword error correction ,FEC) ,反馈 重 发 (automatic repeat request, ARQ) 和 混合 纠 错 
(hybrid error correction ,HEC) 。 

(1) 前 向 纠 错 

发 端 信息 经 纠 错 编码 后 实行 传送 ,接收 端 通过 纠 错 译 码 自动 纠正 传递 过 程 中 的 差错 。 
所 谓 “ 前 向 ”, 指 纠 错过 程 在 接收 端 独立 进行 ,不 存在 差错 信息 的 反馈 。 这 种 方式 的 优点 是 无 
需 反 向 信道 ,时 延 小 ,实时 性 好 , 既 适 用 于 点 对 点 通信 ,又 适用 于 点 对 多 点 组 播 或 广播 式 通 
信 。 和 缺点 是 译 码 设备 比较 复杂 ,所 选用 的 纠 错 码 必须 与 信道 特性 相 匹配 ,为 了 获得 较 好 的 纠 
错 性 能 必须 插入 较 多 的 校 验 元 而 导致 码 率 降 低 。 最 关键 的 一 点 还 在 于 : 前 向 纠 错 的 纠 错 能 
力 是 有 限 的 , 当 差错 数 大 于 纠 错 能 力 时 ,接收 端 发 生 错 译 却 意 识 不 到 错 译 的 发 生 , 收 信者 无 
法 判断 译 出 的 码 是 纠 错 后 的 正确 码 还 是 误 判 了 的 码 。 是 否 适合 采用 前 向 纠 错 取决 于 纠 错 码 
的 纠 错 能 力 、 差 错 特 性 \ 误 码 率 以 及 信息 内 容 对 差错 的 容忍 程度 。 数 据 通信 和 网 要 求 误 码 率 小 
于 10 ,一 般 不 采用 前 向 纠 错 方案 ; 语音 ,图像 通 信 对 实时 性 要 求 高 而 容错 能 力 强 ,基本 上 
都 是 采用 前 向 纠 错 。 随 着 编码 理论 和 大 规模 集成 电路 的 进展 ,性 能 优良 的 实用 编译 码 方法 
不 断 出 现 而 实现 成 本 不 断 降低 ,前 向 纠 错 的 应 用 已 从 语音 、 图 像 扩 展 到 计算 机 存储 系统 、 磁 
盘 光 盘 激光 唱机 等 。 

(2) 反馈 重 发 

发 送 端 发 送 检 错 码 如 循环 宛 余 校 验 (CRC) 码 ,接收 端 通过 检测 接收 码 是 否 符合 编码 规 
律 来 判断 该 码 是 否 存在 差错 。 如 判定 码 组 有 错 , 则 通过 反 向 信道 通知 发 送 端 重 发 该 码 ,如 此 
反复 直到 接收 端 认为 正确 接收 为 止 。 围 绕 如 何 重 发 .由 谁 重 发 等 ,ARQ 系统 可 采取 不 同 的 
重 发 策略 。 比 如 等 待 式 系 统 的 接收 端 以 单 帧 、 单 码 组 为 单位 给 发 送 端 反 馈 ACK 或 NAK 信 
息 以 决定 是 发 下 一 条 信息 还 是 重 发 上 一 条 。 连 续 式 系统 则 给 帧 或 码 字 编 上 顺序 号 后 连续 发 
送 ,接收 端 对 所 有 帧 的 正确 与 否 按 顺序 号 给 出 反馈 回音 。 重 发 可 以 在 通信 和 网 各 交换 节点 间 
逐一 发 生 , 也 可 像 高 速 通信 网 那样 将 反馈 重 发 的 任务 转移 给 网 络 边缘 的 终端 设备 去 完成 。 

ARQ 的 优点 是 编译 码 设 备 简单 ,在 同样 元 余 度 下 检 错 码 的 检 错 能 力 比 纠 错 码 的 纠 错 能 
力 要 高 得 多 。 通 过 ARQ 可 大 大 降低 整个 系统 的 误 码 率 , 早 期 最 成 功 的 例子 是 分 组 交换 数 
据 网 , 它 用 10“ 误 码 率 的 PCM 物理 信道 构建 出 符合 数据 通信 要 求 的 10 误 码 率 的 数据 网 。 
目前 ,ARQ 方式 已 广泛 应 用 于 其 他 数据 通信 网 ,如 计算 机 局 域 网 .分 组 交换 网 7 号 信 令 网 
等 。ARQ 的 缺点 是 需要 一 条 反馈 信道 来 传输 回音 ,并 要 求 发 送 和 接收 端 装备 有 大 容量 的 存 
储 器 以 及 复杂 的 控制 设备 。ARQ 是 一 种 自 适 应 系统 ,由 于 反馈 重 发 的 次 数 与 信道 干扰 密切 
相关 , 当 信 道 误 码 率 很 高 时 , 重 发 将 过 于 频繁 而 使 效率 大 大 降低 甚至 使 系统 阻塞 。 此 外 ,被 
传输 信息 的 连贯 性 和 实时 性 也 较 差 。 特 别 是 光纤 通信 出 现 后 ,信道 的 高 速度 使 节点 的 ARQ 
处 理 成 为 真正 的 瓶颈 。 因 此 从 帧 中 继 到 ATM 到 MPLS, 现 代 高 速 网 络 不 再 采用 反馈 重 发 ， 
而 仅 在 节点 处 作 检 错 和 运算。 如 果 发 现 分 组 (或 帧 ` 包 、 信 元 等 ) 有 错 , 网 络 简单 地 将 它们 丢弃 
了 事 ,而 把 协商 重 发 的 任务 移交 给 终端 去 处 理 。 

(3) 混合 纠 错 

此 法 是 前 向 纠 错 和 反馈 重 发 的 结合 ,发 送 端 发 送 的 码 兼 有 检 错 和 纠 错 两 种 能 力 。 接 收 
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端 译 码 器 收 到 码 字 后 首先 检验 错误 情况 。 如 果 差 错 不 超过 码 的 纠 错 能 力 , 则 自动 进行 纠 错 。 
如 果 判 断 码 的 差错 数量 已 超出 码 的 纠 错 能 力 , 则 接收 端 通过 反馈 信道 给 发 送 端 一 个 要 求 重 
发 的 信息 。HEC 方式 的 性 能 及 优 缺 点 介 于 FEC 和 ARQ 之 间 , 误 码 率 低 ,设备 不 是 很 复杂 ， 
实时 性 和 连贯 性 比较 好 ,在 移动 通信 和 卫星 通信 中 得 到 了 应 用 。 


6.1.2 矢量 空间 与 码 空 间 


最 基本 的 纠 错 码 是 (n,k) 分 组 码 , 也 叫 块 码 (block code) ,是 把 信息 流 切 割 为 & 符 号 一 组 
的 独立 块 后 , 编 成 由 个 码 元 (symbol) 组 成 的 码 字 (codeword)。 码 字 可 以 视 作 一 个 nn 重 矢 
量 ,n 个 码 元 正 是 个 矢量 元 素 ,这 样 ,就 可 以 从 矢量 空间 的 角度 来 分 析 和 理解 分 组 码 。 

设 有 nn 重 有 序 元 素 的 集合 V={vi} ,v0;== (vioyvi vip vin-D)svi; EF, 其 中 下 
表示 码 元 所 在 的 数 域 ,对 于 二 进 制 码 ,F 代表 二 元 域 。 若 满足 条 件 : 

QV 中 矢量 元 素 在 矢量 加 运算 下 构成 加 群 ; 

@V 中 矢量 元 素 与 数 域 下 元素 的 标 乘 封闭 在 V 中 , 即 Va€F 和 w;EV,3a* wvEV; 

(数学 符号 VY 表示 for all, 3 表示 there exists) 

@ 分 配 律 、 结 合 率 成 立 , 即 Va.bEF 和 w;、vjEV， 

3 alvitv) =avitav, (ae 十 bw 一 av 十 Du， (ab)vi = a(bvi); 

则 称 集合 V 是 数 域 站 上 的 n 维 矢量 空间 ,或 称 维 线性 空间 ,n 维 矢量 又 称 n 重 (rrtuples)。 
码 字 因此 有 了 男 一 个 名 字 书 码 矢 。 码 字 \ 码 矢 、n 重 以 及 下 面 还 要 提 到 的 码 多 项 式 , 本 质 上 
表达 的 是 同一 个 东西 ,只 是 从 不 同 角度 、 使 用 不 同 数学 工具 时 有 不 同 叫 法 而 已 。 

码 矢 的 运算 法 则 遵从 矢量 运算 法 则 , 即 对 于 矢量 v;== (vio sv svij yuo-Db) 二 一 
(uoyui yuo-D) 及 标量 a E 下 ( 数 域 ) ,定义 

@ 矢量 加 : vi 十 v2; 三 (vio 十 vjo sv 十 V1 Vion-D 十 Vn-v)， 所 得 结果 仍 是 矢量 。 

@ 标 乘 (标量 乘 矢 量 ) : av; 二 (a vio wa vn，… ,a ui-b), 所 得 结果 是 矢量 。 

@ 点 积 或 内 积 (矢量 乘 矢量 ) : wv; wj 二 vio， vjo 十 vit， vi 十 … 十 Vi- ， vn- ， 所 得 
结果 是 标量 。 

矢量 空间 各 元 素 间 可 能 有 关 , 也 可 能 无 关 。 对 于 域 上 的 若干 矢量 v1 ,Vv。，… ,vi; 及 vi， 
若 满 足 


ww 一 aiui 十 azv 十 asva 十 … 十 aivi (a; € F) 
则 称 几 是 wu ,的 线性 组 合 。 若 满足 
aol 十 azvz 十 aasvs 十 … 十 aui 二 0 (woE 下 且 不 全 为 零 ) (6-1-4) 
则 称 矢 量 w ,wv,,…, wv; 线性 相关 。 若 v1,… ,也 线性 相关 ,就 一 定 可 以 通过 移 项 将 其 中 任 一 
矢量 表示 为 其 他 矢量 的 线性 组 合 ,这 就 意味 着 该 矢量 并 不 独立 ; 反之 ,如 果 式 (6-1-4) 的 条 
件 不 成 立 , 称 这 些 矢量 线性 无 关 或 线性 独立 。 当 一 组 矢量 线性 无 关 时 ,这 组 矢量 中 的 任意 一 
个 都 不 可 能 用 其 他 矢量 的 线性 组 合 来 代替 。 
如 果 存 在 一 组 线性 无 关 的 矢量 w ,uvz,…,uw ,这些 矢 量 的 线性 组 合 的 集合 就 构成 了 一 
个 矢量 空间 v ,而 这 组 矢量 w ,vs,…, wv, 就 是 这 个 矢量 空间 的 基底 。n 维 矢量 空间 应 包含 
个 基底 ,可 以 说 : nn 个 基底 “ 张 成 ”n 维 矢量 空间 wv,。 以 最 简单 最 常用 的 直角 坐标 系 为 例 ,二 
维 平面 中 的 任何 点 可 用 矢量 (z,y) 来 表示 ,其 中 zyER( 实 数 域 ) 。 我 们 可 以 认为 两 维 空间 
是 由 线性 无 关 的 两 个 矢量 (1,0) 和 (0,1) 作 为 基底 张 成 的 ,空间 的 任 一 矢量 可 由 这 两 个 基底 
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线性 组 合 而 成 : (z,y) 二 xz(1,0) 十 y(0,1)。 我 们 也 可 以 换 一 组 基底 ,认为 该 两 维 空 间 是 由 两 
矢量 (一 1,0) 和 (0, 一 1) 作 为 基底 张 成 的 , 它 也 可 以 组 合 出 任何 矢量 : (z,y) 三 一 Z( 一 1,0) 一 
y(0, 一 1)。 可 见 ,基底 不 是 唯一 的 。 把 矢量 元 素 中 包含 一 个 1 而 其 余 为 0 的 那 组 基底 称 为 
自然 基底 ,自然 基底 在 线性 无 关 前 提 下 任意 缩放 或 旋转 后 仍 是 基底 。 

若 矢量 空间 V 的 一 个 元 素 子 集 V, 也 能 构成 一 个 矢量 空间 , 则 称 V, 是 V 的 子 空间 。 

例 6-1 二 元 域 GF(2) 上 三 维 矢 量 空间 V 的 三 个 自然 基底 是 (100)、(010)、(001), 如 
图 6-2 所 示 。 若 以 其 中 一 个 或 两 个 为 基底 ,也 能 构成 矢量 空间 ,它们 是 三 维 矢 量 空间 的 子 
空间 。 例 如 


以 (100) 为 基底 于 忆 “ 维 三 重子 空间 Vi, 含 2 一 2 个 元 素 即 
Wi={(000),(100)} 


以 (010)(001) 为 基底 半 避 二 维 三 重子 空间 Vs, 含 2 二 4 个 
元 素 即 V。=={(000), (001), (010), (011)} 

每 个 矢量 空间 或 子 空间 中 必然 包含 零 矢量 ,这 是 由 于 数 域 

下 含有 零 元 素 , 任 何 基底 乘 以 标量 0 后 就 是 零 矢 量 。 构 成 矢量 
的 有 序 元 素 的 个 数 称 为 “ 重 " 数 , 张 成 矢量 空间 的 基底 的 个 数 称 ”图 6-? 三 维 三 重 空间 及 
为 “ 维 ”" 数 。 一 般 情况 下 由 个 n 重 的 基 张 成 n 维 矢量 空间 VV,， 子 空间 
维 数 和 重 数 是 一 致 的 ; 但 引入 子 空间 后 情况 就 不 同 了 。 例 如 ， 
二 维 平面 的 点 一 般 是 用 二 重 矢量 表示 的 ,但 如 把 这 二 维 平面 看 成 是 一 个 三 维 空间 的 子 空间 ， 
那么 平面 上 矢量 就 应 和 三 维 空间 其 余部 分 的 矢量 一 样 ,用 一 个 三 重 矢 量 来 表达 ,这 意味 着 子 
空间 的 引入 使 维 数 和 重 数 可 以 不 一 样 。 从 概念 上 讲 , 维 数 不 可 能 大 于 重 数 ,而 当 维 数 小 于 重 
数 时 就 说 明 这 是 一 个 子 空间 。 

若 两 矢量 点 积 为 零 即 ww。u: 一 0, 称 w 和 ws 正 交 。 若 某 矢 量 空间 中 的 任意 元 素 与 另 一 
矢量 空间 中 的 任意 元 素 正 交 , 称 这 两 个 矢量 空间 正 交 。 若 两 个 矢量 空间 的 基底 正 交 ,这 两 个 
矢量 空间 一 定 正 交 。 正 交 的 两 个 子 空 间 Vi Vs。 互 为 对 偶 空间 (Dual Space) ,其 中 一 个 空间 
是 男 一 个 空间 的 零 室 间 (null space, 也 称 零 化 空间 )。 在 例 6-1 中 ,基底 (100) 与 基底 (010)、 
(001) 正 交 , 因 此 子 空间 Vi 和 Vs: 一 定 正 交 ,它们 是 对 偶 空间 。 

码 字 c 是 个 码 元 的 有 序 排 列 ,是 n 维 nn 重 矢量 空间 VV, 的 元 素 之 一 。 然 而 反之 ,矢量 
空间 VV, 的 元 素 并 不 一 定 是 码 字 。 以 二 进 制 码 为 例 ,k 位 二 进 制 信息 有 2* 种 组 合 ,如 果 将 一 
个 信息 组 合 对 应 成 一 个 码 字 ,那么 只 有 2* 种 码 字 ,而 n 重 码 矢 所 在 的 n 维 n 重 矢 量 空间 V， 
应 包含 2" 种 重 矢量 ,显然 ,还 存在 着 2" 一 2: 种 n 重 矢量 并 不 是 码 字 。 为 了 便于 区 分 ,将 码 
字 6 写作 (cio cn，… scion-v), 将 码 字 的 集合 写作 C, 称 为 码 集 。 码 集 不 一 定 能 构成 V, 的 一 
个 子 空间 ,但 对 线性 分 组 码 而 言 , 码 集 C 一定 是 V, 的 一 个 子 空间 。 

对 于 一 般 的 g 进 制 (n,k) 分 组 码 ,编码 前 的 & 位 信息 有 gq* 种 组 合 ,属于 g 元 域 上 k 维 
重 矢量 空间 ; n 位 的 码 字 最 多 可 有 g" 种 组 合 ,属于 gq 元 域 上 n 维 n 重 矢量 空间 ,通常 q">q。 
分 组 编码 的 任务 是 要 在 维 n 重 矢量 空间 的 g" 种 可 能 组 合 中 选择 其 中 的 g* 个 构成 一 个 码 
空间 ,其 元 素 就 是 许 用 码 的 码 集 。 

因此 分 组 编码 的 任务 是 : 

(1) 选择 一 个 上 维 重子 空间 作为 码 空间 。 
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(2) 确定 由 & 维 & 重 信息 空间 到 & 维 重 码 空间 的 映射 方法 。 
码 空 间 的 不 同 选择 方法 ,以 及 信息 组 与 码 组 的 不 同 映射 算法 ,就 构成 了 不 同 的 分 组 码 。 


6.1.3 随机 编码 


编码 性 能 的 分 析 有 两 条 基本 途径 。 一 条 途径 是 针对 具体 一 种 码 或 一 类 码 进行 数学 的 或 
计算 机 仿真 的 分 析 。 通 常 可 运用 代数 、 几 何 、 数 论 .图 论 等 理论 求 取 解析 结果 如 渐 近 公式 、 性 
能 限 等 ,或 者 利用 计算 机 作 穷 尽 分 析 找 出 最 优 码 。 这 条 途径 适用 于 特定 对 象 ,而 且 限 于 简单 
的 短 码 , 对 复杂 的 长 码 就 无 能 为 力 了 。 另 一 条 途径 是 不 涉及 具体 编码 ,而 是 运用 概率 统计 方 
法 对 编码 信号 的 性 能 作出 统计 分 析 。 最 典型 的 方法 是 计算 统计 平均 ,因为 是 平均 ,总 有 一 部 
分 码 的 性 能 优 于 平均 值 而 另 一 部 分 劣 于 平均 值 。 因 此 只 要 求 出 统计 平均 ,就 可 断言 必然 存 
在 着 一 些 优秀 的 编码 ,其 性 能 优 于 平均 值 。 用 这 种 方法 不 能 得 知 最 优 码 具 体 是 如 何 编 出 来 
的 , 却 能 得 知 最 优 码 可 以 好 到 什么 程度 ,对 指导 编码 技术 具有 重要 的 理论 价值 。 

设想 有 一 个 g 元 入 、Q 元 出 的 DMC 离散 无 记忆 信道 ,如 图 6-3 所 示 , 其 输入 字符 集 是 
X 一 {zoyzl，…vzo-l1) ,输出 字符 集 是 了 二 {yo ,yy，… ,ya-1) ,转移 概率 为 {(P(y; |zi)}。 再 考 
虑 一 个 (N,K) 分 组 码 编码 器 ,该 编码 器 介 于 信 源 输出 和 DMC 信道 输入 之 间 , 对 天 个 9 进 
制 符号 组 成 的 消息 组 m= 二 (mo ,ma ，… ,mx-1) 实行 编码 ,生成 由 NN 个 g 进 制 符号 (也 称 码 元 ) 
组 成 的 码 字 ce 一 (co ,cl,…'cw-i) ,其 中 co，… ,cw-1EXX。 我 们 设想 有 一 个 由 N 重 矢量 构成 
的 N 维 矢量 空间 ,任何 码 字 < 位 于 空间 中 的 一 点 ,对 应 一 个 N 重 矢量 。 假 设 消息 组 与 码 字 
成 一 一 对 应 的 映射 关系 ,由 于 消息 组 m 的 个 g 进 制 信息 元 总 共 可 有 gq* 种 组 合 , 所 以 码 集 
之 中 只 能 有 q* 个 码 字 。 然 而 gq 进 制 N 维 矢量 空间 总 共 可 有 gqg* 个 点 ,显然 码 集 对 应 的 gr 点 
只 是 矢量 空间 全 部 g* 个 点 的 一 个 子 集 。 从 N 维 矢量 空间 中 选择 一 个 g* 点 的 子 集 有 许多 选 
法 ,在 下 面 分 组 码 章节 中 我 们 将 详细 论述 借助 近世 代数 理论 寻找 具体 “最 佳 ? 子 集 的 方法 ,本 
节 则 并 不 在 意 寻找 具体 的 好 码 , 而 是 从 随机 的 角度 ,根据 统计 规律 来 分 析 问 题 , 并 通过 随机 
编码 (随机 地 选择 码 集 ) ,根据 统计 规律 找 出 其 性 能 限 。 


消息 组 m WA 发 码 c<(co cw…cw) | DMC | 收 码 rrom.… m1) 
Cem mc | 分 组 编码 器 本 信道 


ro ryaEeY 


图 6-3 分 组 编码 与 随机 编码 


在 随机 编码 情况 下 不 存在 固定 的 码 集 , 允 许 K 重 消息 组 m 逐个 、 随 机 地 对 应 到 整个 
N 维 矢量 空间 的 任意 一 点 。 一 个 消息 组 有 g* 种 选择 ,在 第 一 组 选 定 条 件 下 的 两 个 消息 组 有 
g"，g* 种 选择 ,在 前 两 组 选 定 条 件 下 的 三 个 消息 组 有 g*。 gx。g* 种 选择 ,…… 以 此 类 推 ,g* 
个 消息 组 共有 (g*)gt 种 选 法 。 为 了 简化 书写 , 令 M=g* ,于 是 最 终 随机 选 定 的 码 集 可 以 有 
gw 种 。 在 所 有 gw 个 可 能 选择 的 码 集 之 中 ,必然 有 的 码 集 “好 ” 些 ( 码 字 间 距离 大 ,差错 概率 
P. 小 ) ,有 的 码 集 * 差 ? 些 。 代 数 编码 的 任务 是 找 出 其 中 的 好 码 , 而 随机 编码 的 任务 是 找 出 统 
计 规 律 , 求 出 平均 差错 概率 P. 及 其 上 下 界 。 
码 集 点 数 M=q* 占 NN 维 矢量 空间 总 点 数 g* 的 比例 是 
F=o/g 三 人 ro (6-1-5) 
显然 ,当天 和 NN 的 差 值 拉 大 即 元 余 的 空间 点 数 增加 时 ,平均 而 言 码 字 的 分 布 将 变 得 稀疏 ， 
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码 字 间 的 平均 距离 将 变 大 ,平均 差错 概率 P. 将 变 小 。 现 在 提出 这 样 一 个 问题 当 F-~0 即 
(N 一 K) 一 oo 时 ,能 否 让 平均 差错 概率 P. 一 0 
假如 码 集 是 随机 地 从 gw 个 候选 码 集 中 选取 的 ,那么 其 中 第 六 个 码 集 ( 记 作 {c}。) 被 随 
机 选中 的 概率 是 
PO (6-1-6) 
假设 与 这 种 选择 相对 应 的 条 件 差错 概率 是 P.({c),,) ,那么 全 部 码 集 的 平均 差错 概率 是 


de de 
P. = DP.({e}n) Pe}n) =g™ DP.({e},) (6-1-7) 


显然 ,必定 存在 某 些 码 集 的 差错 概率 大 于 平均 值 即 P.({c), ) 记 P., 也 必定 存在 某 些 码 
集 的 差错 概率 小 于 平均 值 。 合 乎 逻辑 的 结论 是 ,如 果 我 们 算出 了 也 .的 上 边界 ,必然 有 一 批 
码 集 的 P.({e})。) 小 于 这 个 已. 的 上 边界 ; 如 果 我 们 能 证 明 在 F-~0 时 P。 一 0, 就 必然 存在 一 批 
码 集 的 Pe({c},) 一 0, 那 时 我 们 就 可 以 下 结论 说 ,差错 概率 趋 于 零 的 好 码 一 定 存在 。 
加 拉 格 (Gallager) 在 1965 年 推导 了 P. 的 上 边界 ,并 证 明 这 个 上 边界 是 按 指数 规律 收敛 
的 。 他 的 推 时 过 程 如 下 : 
设 N 维 矢量 空间 X* 中 某 码 集 {c}), 的 某 码 字 是 c4 二 (cioscns… ,cun-v)， 其 中 各 码 元 
cio rc sCkN-D EX,ct EXN。 经 DMC 信道 传输 后 接收 码 字 是 r= (ro ,ri ，… ,rn-1)，, 其 中 
ro*rn-1EY,rEYN。 由 于 7 未 必 等 于 ce, 接收 端 由 r 译 出 ci 的 差错 概率 是 
Ple) = Dplr | cdllr) C6-1-8) 
rEYN 
这 里 ,Ti(r) 是 示 性 函数 ,定义 为 
0, Vi 天 Aprleco) > prl|e) (6-1-9a) 


和 Cr) = 
1， Vik,pl(r|e) < plr|e) (6-1-9b) 


示 性 函数 到 Cr) 的 意思 是 : 当 发 出 码 字 6 而 收 到 7 的 概率 大 于 发 任何 其 他 码 字 c; 而 收 到 + 的 
概率 (ce 具有 最 大 先 验 概率 ) 时 , 令 及 Cr) 三 0, 因为 满足 这 个 条 件 时 通过 最 优 译 码 可 以 无 差错 
地 正确 译 码 ,其 概率 不 应 计 入 差错 概率 之 内 ; 当 发 码 ci 而 收 到 + 的 概率 小 于 等 于 发 其 他 某 
一 任何 码 字 c; 而 收 到 7+ 的 概率 时 , 令 Ii(r) 二 1, 因 为 在 那 种 情况 下 将 发 生 译 码 差错 ,应 计 入 
总 的 差错 概率 。 示 性 函数 有 Cr) 必定 满足 不 等 式 

Dplr | a | 


I(r) < | EE 
plr | em 
这 是 因为 当 满 足 式 (6-1-9a) 时 , 式 (6-1-10) 左 边 等 于 0, 而 右边 由 于 概率 的 非 负 性 总 是 大 于 等 
于 0; 当 满 足 式 (6-1-9b) 时 , 式 (6-1-10) 左 边 等 于 1, 而 右边 至 少 有 一 个 p(rle;) 宇 plrles), 即 
分 子 大 于 等 于 分 母 而 整个 式 子 宇 1。 式 中 ,p 是 人 为 加 入 的 一 个 修正 因子 ,0<p<<1。 
将 式 (6-1-10) 代 入 式 (6-1-8) ,得 


(6-1-10) 


i 


P(e Dplrle) 


rey™ 


| 参 ” | | 


plr| i) 市 


g 
一 忆 pe lo 村 Do los| (6-1-11) 
rEYN i 
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不 等 式 (6-1-11) 叫 Gallager 界 , 它 指出 了 发 送 某 一 码 字 ci 时 的 误 码 概率 上 界 。 
6.1.4 信道 编码 定理 


为 了 找到 有 扰 信 道 差 错 概率 的 规律 ,我 们 在 不 等 式 (6-1-11) 的 两 边 对 所 有 码 字 取 平 
均 。 由 于 码 字 及 码 集 均 是 等 概 分 布 , 求 得 的 平均 值 应 该 就 是 全 体 码 字 的 平均 差错 概率 
P., 即 有 


Pp 
P.< El| pcrl oo 本 | pcrl 十 | | 


rey™ eh 
= EE{pr | oo 可 Boer | “5| (6-1-12) 
rEYN 话 4 
各 码 字 互 相 独 立时 ,总 的 平均 等 于 各 项 的 平均 , 式 (6-1-12) 变 为 
互 过 六 E[ocrl 中 | 可 Dpor| “5| | (6-1-13) 
rEYN i#k 


又 由 于 各 码 字 等 概 , 式 (6-1-13) 的 第 一 项 
ELp(r | eco) 市 ] = ELp(r | ce) 市] = 六 pc)pr | ec) 市 
其 中 >) 表示 对 某 码 集 所 有 码 字 的 函数 求 和 。 利 用 Jensen 不 等 式 ,函数 运算 后 取 平 均一 定 
小 于 等 于 求 平 均 后 的 函数 运算 , 即 
E[f(x)] < /LE(x)] (6-1-14) 
式 (6-1-13) 变 为 
BE [| Dploper | 0 沁 | | 六 poprl < 二 |] 


rEYN 


是 
震 , 滨 | B20 | o 沁 | 。 |o=- D >)p(Cc)pr 1 | | 


rEYN 


1+p 
= wD Dep os)| } (6-1-15) 


rEYN ‘ 
式 中 M 二 gq* 。 由 于 信道 无 记忆 , 码 字 概率 等 于 组 成 该 码 字 的 各 码 元 概率 之 积 , 有 


pl)= Toc 及 porlo)= [lpG|o) 
i=1 i=1 
所 以 式 (6-1-15) 变 为 


= 1+p 
P.<M— DED DIED | eplew) pern | 地 | 
% TN A EN 


1+p ltp 
<m {5| Deep 1o 沿 | 上 (下 Dp lew plry lo 十 ] | 
i "yy 


rN 


=m {Eo0orios]} (6-1-16) 
式 中 cEX={zoyzi… ,To-1) 及 rEY 二 {yo sy1，… ,ye-1) 分 别 代 表 信 道 发 送 和 接收 的 码 元 
符号 , 仅 与 信道 有 关 而 与 如 何 编码 无 关 , 换 言 之 , P. 的 上 界 仅 与 信道 有 关 而 与 编码 方式 无 


第 6 章 ”信道 编码 133 
全 一 一 一 一 一 一 一 一 


关 。 式 (6-1-16) 可 写作 
ee fT ol 1 1l+e 、N 
P.< mw {S| Spc 1=) 沾 | | 


i=0L j=0 


fT el 1 |ite 
= exp|onM 二 NaS Sp | 站 | | 


rd 

InM ciT 1 ，] 

= on- No -mS Sp 1 os| i CO= Ty 
j=0 


这 0 


定义 码 率 为 
R= (InMD)/N (6-1-18) 
式 中 ,M 二 gq* 是 可 能 的 信息 组 合 数 , 每 信息 组 的 发 生 概率 是 1/M,lnM 二 一 ln(1/MD) 是 以 奈 特 
(nat) 为 单位 的 信息 量 , 它 与 通常 信息 量 单位 比特 (bit) 的 关系 是 1nat 二 1. 443bit。N 为 每 码 
字 的 码 元 数 ,R 表示 每 码 元 携带 的 信息 量 , 所 以 称 作 码 率 ,单位 是 每 符号 奈 特 (nat/symbol) 。 
又 定义 函数 


ef 一 ! ,lie 
Eo (psP,) -nm 人 | Dy pz) py | 十 | ，0<p<1 (6-1-19) 
0 


i=0L j= 


式 中 ,Eo(p,P,) 是 以 修正 因子 p 及 输入 符号 概率 矢量 也 .为 自 变量 .与 信道 容量 有 关系 的 一 
个 函数 。P, 一 定时 ,Eu(Co,P.) 和 po 的 关系 如 图 6-4 所 示 。 从 图 中 可 知 , 当 p 由 0 变 到 1 时 ， 
Eo(p,P;) 是 单调 上 升 的 凸 函 数 ,其 值 由 Eo(0,P,) 二 0 变 到 最 大 值 Eu(1,P,)。 
将 式 (6-1-18) . 式 (6-1-19) 代 入 式 (6-1-17) ,可 得 
P< exp{ 一 N[ 一 oR 十 Eu(p,P.)]} 
< exp{ 一 N{max max[— oR 二 Eo(p,P.)]}} 


= exp{— NE(R)} (6-1-20) 
式 中 E(R) 定 义 为 
E(R) = max max[—pR + Eo(p,P.)] (6-1-21) 
n 3 


E(R) 处 于 负 指 数位 置 ,其 值 越 大 则 P. 越 小 , 即 可 靠 性 越 高 ,所 以 称 已 (R) 为 可 靠 性 函 
数 , 也 叫 误差 指数 。 从 式 (6-1-21) 和 式 (6-1-19) 可 以 看 到 ,E(R) 实 际 上 与 Rp、P; 及 信道 转 
移 函 数 {P(y; 1z;)} 都 有 关 。 但 我 们 一 般 假设 P, 是 等 概 分 布 ,将 信道 特性 和 p 作为 参 变量 ， 
而 突出 天 CR) 是 码 率 尺 的 函数 。 画 E(R)-R 关系 曲线 显然 与 各 参 变量 的 取 值 有 关 , 我 们 不 
妨 先 逐 一 研究 一 下 单 参数 的 影响 。 
如 果 保 持 最 优 输 入 符号 概率 矢量 已 .不 变 ( 一 般 是 等 概 分 布 ) ,在 区 间 0 三 p 三 1 上 能 使 
E(R) 最 大 的 极 值 点 位 置 应 满足 对 p 偏 导 数 为 零 的 条 件 , 即 
0 a[— ， ‘0(p» 
SE [一 pR 这 P.)] R+E 2 
此 时 的 码 率 尺 应 是 


0 


9Eo (p,P.,) 
op 

这 就 是 说 ,在 选择 po 值 满足 式 (6-1-21) 最 大 的 同时 ,应 令 R 等 于 图 6-4 Eo(p,P,)-p 曲线 在 p 

处 的 斜率 。p 不 同 则 R 也 应 不 同 ,满足 该 条 件 的 Rip 关系 曲线 如 图 6-5 所 示 。 我 们 看 到 ,在 


R= (6-1-22) 
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0 二 0 时 ,R 等 于 Euo(o,P.)-o 曲线 在 o=0 处 的 斜率 ,其 值 正 是 信道 容量 C( 证 明 略 );， 而 在 
Pp 三 1 时 ,R 等 于 曲线 在 p= 二 1 处 的 斜率 及 一 Ru (一 般 Re<C) ,我 们 定义 Ro 为 临界 速率 。 或 者 
反 过 来 看 , 当 码 率 及 =C 时 应 有 p 二 0, 当 码 率 0<R<R。 时 应 有 o 王 1, 当 码 率 Ru<R<C 时 p 
的 取 值 由 图 6-5 的 Rp 曲线 决定 。 


Ep,P) 


0 1 Pp 
图 6-4 Eo(p,P;) 和 p 的 关系 曲线 图 6-5 R 和 op 的 关系 曲线 
车 以 6 为 参 变量 , 式 (6-1-21) 对 尺 求 偏 导 , 得 
aE(R) __ 和 
dR =P (6-1-23) 


可 见 E(R)-R 关系 曲线 必定 以 一 p 为 斜率 。 根 据 以 上 分 析 , 当 码 率 R=C 时 ,应 有 p= 二 0 即 斜 
率 为 零 ; 当 码 率 0<R<R, 时 ,应 有 po 一 1, 即 斜率 为 一 1; 当 码 率 Re 天 R<C 时 ,斜率 由 一 1 
变 到 0, 据 此 可 画 出 E(R)-R 曲线 如 图 6-6 所 示 。 
从 图 中 看 ,R 在 [0,R。] 区 间 时 E(R)-R 曲线 是 斜 
率 为 一 1( 一 45") 的 直线 ,E(R) 反 比 于 R; 而 当 
尺 二 C 时 ,E(R)==0, 即 可 靠 性 为 零 。 

式 (6-1-20) 左 边 的 P. 是 平均 差错 概率 。 既 然 
是 平均 ,必然 有 的 优 于 它 , 有 的 劣 于 它 。 所 以 随机 
码 中 总 有 某 些 码 集 ,它们 的 差错 概率 P. 小 于 平均 
差错 概率 P.。 于 是 我 们 可 以 断言 : 一 定 存在 某 种 
编码 方式 ,满足 


E(R) 


> 


0 Ry 45° 


图 6-6 E(R) 和 RR 的 关系 曲线 
pe (6-1-24) 


式 (6-1-24) 正 是 有 扰 离散 信道 的 信道 编码 定理 。 用 文字 叙述 其 内 涵 , 即 : 只 要 传 信 率 尺 小 
于 信道 容量 C ,总 存在 一 种 信道 码 (及 解码 器 ) ,能 够 以 所 要 求 的 任意 小 的 差错 概率 实现 可 靠 
的 通信 。 

后 来 费 诺 (Fano) 推 导 了 一 个 Fano 不 等 式 , 并 利用 它 推出 了 信道 编码 逆 定 理 , 即 : 信道 容量 C 
是 可 靠 通 信 系 统 传 信 率 尺 的 上 边界 ,如 果 RC., 就 不 可 能 有 任何 一 种 编码 能 使 差错 概率 任意 小 。 

这 两 个 定理 常 被 写 在 一 起 统称 为 有 扰 或 噪声 信道 的 信道 编码 定理 。 

6.1.5 联合 信 源 信道 编码 定理 

在 阐述 和 证 明了 信道 编码 定理 后 ,我 们 知道 要 在 任意 信道 中 进行 数据 传输 ,信息 传输 率 
必须 小 于 信道 容量 (R 二 C) ,才能 可 靠 地 传输 数据 。 再 回顾 第 5 章 中 讨论 了 对 信 源 进行 数据 


压缩 的 问题 ,无 失真 信 源 编码 定理 指出 要 进行 无 失真 数据 压缩 ,必须 满足 编码 速率 大 于 信 源 
炳 (R' 二 瑟 )。 联 合 这 两 个 定理 ,就 会 提出 这 样 的 问题 : 若 信 源 通过 信道 传输 ,要 做 到 有 效 和 


第 6 章 ”信道 编码 135 
全 一 一 一 一 一 一 一 一 


可 靠 (无 错误 ) 地 传输 , 玉 二 C 是 充分 和 必要 的 条 件 。 

从 无 失真 信 源 编码 定理 和 信道 编码 定理 可 以 看 出 ,要 做 到 有 效 和 可 靠 地 传输 信息 ,可 以 
将 通信 系统 设计 成 两 部 分 的 组 合 , 即 信 源 编码 和 信道 编码 。 首 先 ,通过 信 源 编码 ,用 尽 可 能 
少 的 信道 符号 来 表达 信 源 ,也 就 是 对 信 源 数据 用 最 有 效 的 表达 方式 表达 , 尽 可 能 减少 编码 后 
的 数据 的 元 余 度 。 然 后 ,针对 信道 ,对 信 源 编码 后 的 数据 独立 地 设计 信道 编码 ,也 就 是 适当 
增加 一 些 剩余 度 , 用 来 纠正 和 克服 信道 中 引起 的 错误 和 干扰 。 这 两 部 分 编码 是 分 别 独立 考 
虑 的 。 

这 种 分 两 部 分 编码 的 方法 在 实际 通信 系统 设计 中 有 着 重要 的 意义 。 近 代 大 多 数 通信 系 
统 都 是 数字 通信 系统 , 它 比 模拟 通信 系统 有 着 许多 优点 。 在 实际 数字 通信 系统 中 ,通常 信道 
是 共用 的 数字 信道 ,一 般 为 二 元 信道 。 无 论 是 语音 、 图 像 . 数 据 都 用 同一 通信 信道 来 传输 。 
因此 ,可 以 首先 将 语音 、 图 像 等 信 源 输出 信号 数字 化 ,再 针对 各 自信 源 的 不 同 特点 ,进行 不 同 
的 数据 压缩 ,用 最 有 效 的 二 元 码 来 表达 这 些 不 同 的 信 源 。 而 对 于 共同 传输 的 数字 信道 来 说 ， 
输入 端 只 是 一 系列 二 元 码 ,信道 编码 只 需 针 对 信道 特性 来 进行 ,无 须 考虑 不 同 信 源 的 不 同 特 
性 ,通过 信道 编码 纠正 信道 中 带 来 的 错误 。 采 用 这 种 分 开 两 部 分 的 编码 方法 可 以 做 到 既 有 
效 又 可 靠 地 传输 信息 。 这 样 做 ,可 以 大 大 降低 通信 系统 的 复杂 度 。 

这 种 分 两 步 编码 处 理 的 方法 ,其 信 源 压缩 编码 只 与 信 源 有 关 , 不 依赖 于 信道 ; 而 信道 编 
码 只 与 信道 有 关 , 不 依赖 于 信 源 。 这 种 分 两 步 处 理 的 方法 是 否 与 一 步 编码 处 理 一 样 好 呢 ? 
这 样 分 两 步 处 理 是 否 会 带 来 某 些 损失 呢 ? 

从 数据 处 理 定理 可 知 , 如 果 处 理 采用 的 是 一 一 对 应 的 变换 ,就 不 会 增加 任何 新 的 信息 损 
失 。 无 失真 信 源 编码 是 一 一 对 应 的 变换 ,无 论 编码 还 是 译 码 都 是 一 一 对 应 的 映射 ,因此 无 失 
真 信 源 编码 不 会 带 来 任何 信息 损失 。 信 源 通过 两 步 编码 后 送 入 信道 ,信道 输出 端 接收 到 的 
信息 会 有 一 些 损失 (失真 ), 这 是 由 于 信道 引起 的 。 而 通过 信道 编码 (又 满足 RC) ,可 使 信 
道 引 起 的 损失 (或 错误 ) 尽 可 能 少 。 因 此 ,分 两 步 处 理 不 会 增加 信息 损失 。 

由 此 可 见 , 当 上 且 仅 当 信 源 极限 焙 小 于 信道 容量 ,在 信道 上 能 无 错误 地 传输 平稳 遍历 信 
源 。 这 就 是 信 源 信道 编码 定理 (source-channel coding theorem)。 由 于 两 步 编码 方法 ,数据 
压缩 编码 和 数据 传输 编码 ,满足 厅 二 R 和 RR 二 C, 所 以 其 与 一 步 编码 处 理 方法 的 效果 一 
样 好 。 

如 果 将 信道 编码 定理 与 限 失真 信 源 编码 定理 结合 起 来 ,可 得 信息 传输 的 另 一 主要 结论 : 
若 通过 信道 来 传送 信 源 输出 的 消息 ,如 果 信 道 的 容量 C>RCD), 则 在 信 源 和 信道 处 进行 足 
够 复杂 的 处 理 后 ,总 能 以 保 真 度 D 十 e 再 现 信 源 的 消息 。 如 果 CR(D), 则 不 管 如 何 处 理 ， 
在 信道 的 接收 端 总 有 不 能 以 保 真 度 D 的 要 求 再 现 信 源 的 消息 。 

在 给 定 信 源 X 和 多 许 失真 度 D 后 ,可 以 求 得 信 源 的 信息 失真 函数 RCD)。 若 信 源 通过 
某 信 道 传输 ,信道 的 容量 满足 C>RCD) ,那么 根据 限 失真 信 源 编码 定理 ,可 以 对 给 定 的 信 源 
X 先进 行 信 源 压缩 编码 ,使 编码 后 的 信息 传输 率 R' 宇 RC(D) ,并且 编码 的 平均 失真 度 4(C0) 一 
D。 这 时 R' 必 须 满足 CR' 宇 R(D)。 然 后 把 压缩 后 的 信 源 通过 信道 传输 ,由 于 上 式 左 半 
边 不 等 式 存在 ,根据 信道 编码 定理 , 则 存在 一 种 信道 编码 ,使 压缩 后 的 信 源 通过 信道 传输 
后 ,错误 概率 趋 于 零 。 因 此 在 接收 再 现 信 源 消息 时 ,总 的 失真 或 错误 不 会 超过 允许 失真 
D。 这 意味 着 引起 的 失真 是 由 信 源 压缩 造成 的 ,而 信道 传输 不 会 造成 新 的 失真 或 错误 。 
反之 ,车 C<R(D), 即 不 能 保证 信 源 压缩 后 的 信息 率 R' 二 C, 所 以 信道 编码 定理 不 能 成 立 。 
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故 信道 中 引起 的 失真 或 错误 无 法 避免 , 必 使 在 接收 端 再 现 信 源 的 消息 时 ,总 的 失真 或 错误 大 
于 DD; 

由 此 可 见 ,可 以 把 通信 系统 中 信 源 编码 和 信道 编码 的 功能 完全 分 开 来 , 信 源 编码 所 用 的 
码 只 对 给 定 的 信 源 和 保 真 度 准则 是 最 佳 的 ,并 不 涉及 信道 的 具体 性 质 。 同 样 也 允许 信道 编 
码 的 应 用 可 不 考虑 信 源 的 具体 性 质 。 这 样 构成 的 通信 系统 首先 通过 信 源 编码 器 ,从 长 的 信 
源 符号 序列 中 去 除 元 余 度 或 不 必要 的 精度 ,只 留 下 由 保 真 度 准则 确定 的 最 少 、 最 主要 的 信 
息 。 然 后 由 信道 编码 器 重新 加 入 特殊 形式 的 元 余 度 ,以 提高 信道 传输 的 抗 干扰 性 。 这 种 系 
统 的 优点 是 设计 简单 .通用 性 好 ,可 以 分 别 形成 标准 。 例 如 ,针对 各 种 不 同 信 源 如 文本 、 语 
音 .静止 图 像 .活动 图 像 等 数据 压缩 的 研究 形成 了 数据 压缩 理论 与 技术 ; 而 针对 信道 编码 问 
题 的 研究 又 形成 了 另 一 独立 的 分 支 一 一 纠 错 码 理论 。 

当然 ,这 种 信 源 信道 分 开 编 码 的 方式 有 时 也 存在 缺点 ,由 于 没有 综合 考虑 信 源 和 信道 的 
特性 ,不 能 充分 利用 信 源 编码 和 信道 编码 的 各 自 优势 ,因而 不 是 最 佳 的 。 例 如 ,无 线 传输 系 
统 提供 的 速率 较 低 ,就 要 求 信 源 编码 的 压缩 比 很 高 ,这 会 导致 传输 信号 对 差错 十 分 敏感 。 同 
时 ,无 线 信道 的 传输 环境 十 分 恶劣 ,能 够 提供 的 带宽 元 余 度 又 很 小 。 在 这 种 背景 下 ,需要 将 
信 源 编码 和 信道 编码 综合 考虑 。 这 就 是 联合 编码 的 基本 思路 。 

近年 来 ,人 们 对 联合 信 源 信道 编码 进行 了 大 量 研究 ,证 明了 信 源 与 信道 编码 联合 考虑 要 
比分 两 步 的 方法 更 加 有 效 , 且 在 变 信道 下 的 传输 速率 可 接近 理论 极限 。 因 此 联合 信 源 信道 
编码 在 实际 通信 系统 中 得 到 了 广泛 应 用 ,研究 的 内 容 主 要 在 下 列 几 个 方面 : 

(1) 信 源 信道 编码 器 的 联合 设计 ,该 法 侧重 于 在 发 送 端 根据 信 源 和 信道 的 统计 特性 来 
完成 设计 ,包括 基于 信道 优化 的 信 源 编码 和 基于 信 源 优化 的 信道 编码 。 

(2) 信 源 信道 联合 解码 器 设计 ,该 法 侧重 于 在 接收 端 分 析 并 利用 信 源 编码 器 输出 的 残 
存 宛 余 信息 来 阻止 传输 比特 差错 的 传播 ,也 可 以 作为 先 验 知识 用 于 信道 译 码 器 的 软 输出 译 
码 的 边 信息 

(3) 信 源 信道 码 率 分 配 研究 , 它 是 在 给 定 信道 码 率 下 , 信 源 和 信道 编码 率 的 最 优化 分 配 
策略 ,但 总 比特 率 一 定 。 若 信 源 编码 速率 增加 ,有 损 压缩 造成 的 失真 就 可 减 小 ; 若 信 道 编码 
速率 减 小 ,信道 编码 宛 余 量 减 少 ,信道 噪声 引起 的 失真 就 会 提高 。 实 际 编码 时 根据 系统 总 体 
性 能 的 要 求 在 信 源 和 信道 编码 之 间 合 理 地 分 配 。 

例如 宽带 无 线 通 信 中 , 若 采用 频 分 复 用 将 整个 宽带 分 割 成 若干 个 子 信道 , 则 各 个 子 信道 
可 能 具有 不 同好 坏 的 传输 特性 ,我 们 可 以 将 信 源 的 总 比特 数 或 能 量 自 适应 地 分 配 到 各 个 子 
信道 ,以 保证 各 子 信道 的 误 码 率 相同 ,这 就 是 基于 信道 优化 的 信 源 编码 。 又 如 多 媒体 码 流 中 
不 同位 置 的 比特 发 生 错 误 以 后 ,所 导致 的 对 信 源 的 影响 效果 是 不 同 的 ,因此 可 以 对 不 同位 置 
的 比特 采取 不 同等 级 的 错误 保护 , 称 为 不 等 错误 保护 (UEP) (也 叫 自 适 应 纠 错 技 术 ), 即 根 
据 数据 的 重要 性 不 同 , 信 道 编 译 码 采用 不 同等 级 的 纠 错 保 护 策 略 , 重 要 的 数据 分 配 较 多 的 
纠 错 比特 ,不 太 重 要 的 数据 分 配 较 少 的 纠 错 比 特 , 使 重要 的 信息 拥有 更 强 的 错误 保护 能 
力 ,以 便 在 不 增加 总 体 传输 速率 的 情况 下 ,兼顾 有 效 性 和 可 靠 性 ,保证 系统 的 传输 质量 。 
例如 ,图 像 编 码 时 可 将 图 像 分 成 两 部 分 ,一 是 对 图 像 识 别 起 重要 作用 的 粗糙 信息 ,二 是 用 
来 提高 图 像 质量 的 细节 信息 ,然后 对 这 两 部 分 采用 不 等 差错 保护 技术 。 这 就 是 基于 信 源 
优化 的 信道 编码 。 
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6.2” 纠 错 编 译 码 的 基本 原理 与 分 析 方 法 


6.2.1 纠 错 编码 的 基本 思 


本 节 试 图 用 两 种 方式 来 论述 差错 控制 与 纠 错 编码 的 基本 原理 ,一 种 思路 的 源 点 是 
式 (6-1-24) 的 信道 编码 定理 , 另 一 种 思路 则 起 源 于 两 个 基本 概念 。 两 种 思路 只 是 从 两 个 角 
度 看 同一 个 问题 , 必 是 殊途同归 ,结论 当然 也 应 该 是 吻合 的 。 

第 一 种 思路 是 从 信道 编码 定理 的 公式 出 发 ,不 强调 物理 意义 ,只 是 从 数学 角度 分 析 如 何 
使 不 等 式 左边 的 P。 减 小 。P. 是 负 指 数 函 数 ,从 数值 看 欲 减 小 P. 可 走 增 大 码 长 N 或 增 大 可 
靠 性 函数 已 (R) 两 条 路 。 而 想 增 大 ECR) 又 有 加 大 信道 容量 C 或 减 小 码 率 ( 传 信 率 )R 两 条 
路 ,因为 从 图 6-7 可 以 看 出 : 

对 于 同样 的 码 率 尺 ,信道 容量 大 者 其 可 靠 性 函数 已 (R) 也 上 AR 
大 ; 若 信道 容量 C 不 变 , 码 率 减 小 时 其 可 靠 性 函数 E(R) 增 大 ; 
鉴于 上 面 的 分 析 , 可 采取 以 下 措施 减 小 差错 概率 P。。 

1. 增 大 信道 容量 C 

根据 香农 公式 ,信道 容量 C 与 带宽 W, 信 号 平均 功率 P,, 和 
噪声 谱 密 度 Ne 有 关 。 为 此 ,可 以 采取 以 下 措施 : 

(1) 扩展 带宽 。 如 开发 新 的 宽带 媒体 ,有线 通信 从 明 线 
(150kHz)、 对 称 电缆 (600kHz)、 同 轴 电 缆 (1GHz) 到 光纤 ”图 6-7 增 大 ECR) 的 途径 
(25THz) ,无 线 由 中 波 、 短 波 、 超 短波 到 毫米 波 、 微 米 波 。 又 如 
采取 信道 均衡 措施 ,如 加 感 , 时 / 频 域 的 自 适应 均衡 器 等 。 

(2) 加 大 功率 。 如 提高 发 送 功 率 、 提 高 天 线 增益 ,将 无 方向 的 漫 射 改 为 方向 性 强 的 波束 
或 点 波束 、 分 集 接收 等 。 

(3) 降低 噪声 。 如 采用 低 品 声 器 件 、 滤 波 、 屏 项 、 接 地 ,低温 运行 等 。 

在 纠 错 编 码 技术 发 展 之 前 ,通信 系统 设计 者 传统 上 主要 就 是 靠 增 大 C 来 提高 R, 或 等 效 
地 在 R 不 变 前 提 下 增 大 通信 可 靠 性 。 

2. 减 小 码 率 民 

对 于 二 进 制 (N,K) 分 组 码 , 码 率 是 RR 二 K/N bit/ 符 号 ; 对 于 Q 进 制 (N,K) 分 组 码 
(K 个 Q 元 符号 编 成 N 个 Q 元 符号 ) , 码 率 是 RR 二 K log; Q/N。 所 以 降低 码 率 的 方法 有 

(1) QAN 不 变 而 减 小 KK ,这 意味 着 降低 信息 源 速率 ,每 秒 少 传 一 些 信息 。 

(2) Q、K 不 变 而 增 大 NN ,这 意味 着 提高 符号 速率 ( 波 特 率 ) ,占用 更 大 带宽 。 

(3) N、K 不 变 而 减 小 Q, 这 意味 着 减 小 信道 的 输入 、 输 出 符号 集 ,在 发 送 功 率 固定 时 提 
高 信和 号 间 的 区 分 度 , 从 而 提高 可 靠 性 。 

在 通信 容量 C 不 变 时 减 小 尺 ,等 效 于 拉 大 C 一 R 之 差 , 因 此 可 以 说 这 是 用 增加 信道 容量 
的 元 余 度 来 换取 可 靠 性 。 从 20 世纪 50 年 代 到 70 年 代 , 主 要 的 纠 错 编码 方法 都 是 以 这 种 宛 
余 度 为 基础 的 。 

3. 增 大 码 长 N 

保持 信道 容量 C 和 码 率 R( 即 K/N 之 比 ) 不 变 ,加 大 码 长 N 并 没有 增加 信道 容量 的 元 


0 RI<R Ci<C R 
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余 度 ,这 时 它 利用 的 是 随机 编码 的 特点 : 随 着 N 增 大 ,矢量 空间 元 素 X* 以 指数 量 级 增 大 ， 
从 统计 角度 而 言 码 字 间距 离 也 将 加 大 ,从 而 可 靠 性 提高 。 另 外 , 码 长 N 越 大 ,实际 差错 概率 
就 越 能 符合 统计 规律 。 例 如 ,投掷 一 个 硬币 记录 其 正面 向 上 的 比例 ,理论 值 应 是 0. 5, 如 果 
比例 降 到 0.4 以 下 或 0.6 以 上 就 算 差 错 , 则 投掷 10 次 就 统计 比例 较 之 投掷 100 万 次 再 统计 
比例 ,其 差错 概率 要 大 得 多 。 可 以 断言 ,投掷 100 万 次 而 正面 向 上 比例 在 [0. 4,0. 6] 区 间 之 
外 的 概率 几乎 是 零 ,增加 码 长 N 的 作用 与 增加 投掷 次 数 的 作用 类 似 。 增 加 码 长 N 带 来 好 
处 的 同时 需要 付出 代价 , 那 就 是 N 越 大 编 解码 算法 越 复杂 , 编 解 码 器 也 越 昂 贵 。 所 以 虽然 
香农 早 在 1948 年 就 已 指出 增 大 N 的 途径 ,但 20 世纪 70 年 代 前 由 于 器 件 水 平 不 允许 编 解 
码 器 做 得 太 复杂 ,实用 的 纠 错 码 主要 还 是 靠 牺牲 功率 、 带 宽 效 率 来 取得 可 靠 性 。20 世纪 
80 年 代 后 随 着 VLSI 的 发 展 , 编 解码 器 可 以 做 得 越 来 越 复杂 ,很 多 编 解 码 算法 可 在 ASIC 或 
数字 信号 处 理 专用 芯片 DSP 上 实现 ,因此 码 长 允许 设计 得 很 长 。 当 前 ,通过 增加 码 长 N 来 
提高 可 靠 性 已 成 为 纠 错 编 码 的 主要 途径 之 一 , 它 本 质 上 是 以 设备 的 复杂 度 换取 可 靠 性 ,从 这 
个 意义 上 说 ,妨碍 数字 通信 系统 性 能 提高 的 真正 限制 因素 是 设备 的 复杂 性 。 

另 一 条 思路 是 从 概念 上 分 析 纠 错 编码 的 基本 原理 ,我 们 可 以 把 纠 错 能 力 的 获取 归结 为 
两 条 ,一 条 是 利用 元 余 度 , 另 一 条 是 噪声 均 化 (随机 化 、 概 率 化 )。 

元 余 度 就 是 在 信息 流 中 插入 元 余 比 特 形成 的 ,这 些 元 余 比特 与 信息 比特 之 间 存 在 着 特 
定 的 相关 性 。 这 样 ,即使 在 传输 过 程 中 个 别 信息 受 损 ,也 可 以 利用 相关 性 从 其 他 未 受 损 的 元 
余 比 特 中 推测 出 受 损 比特 的 原貌 ,保证 了 信息 的 可 靠 性 。 举 例 来 说 ,如 果 用 2bit 表示 4 种 
意义 ,那么 无 论 如 何 也 不 能 发 现 差错 ,因为 如 有 一 信息 01 误 成 00, 根 本 无 法 判断 这 是 在 传 
输 过 程 中 由 01 误 成 00, 还 是 原本 发 送 的 就 是 00。 但 是 如 用 3bit 来 表示 4 种 意义 , 那 就 有 可 
能 发 现 差错 ,因为 3bit 的 8 种 组 合 能 表示 8 种 意义 ,用 它 代表 4 种 意义 尚 剩 4 种 完 余 组 合 ， 
如 果 传 输 差错 使 收 到 的 3bit 组 合 落 入 4 种 元 余 组 合 之 一 ,就 可 断言 一 定 有 差错 比特 发 生 
了 。 至 于 加 多 少 宛 余 、 加 什么 样 的 相关 性 最 好 ,这 正 是 纠 错 编 码 技术 所 要 解决 的 问题 ,但 必 
须 有 元 余 , 这 是 纠 错 编 码 的 基础 。 

为 了 传输 这 些 宙 余 比特 ,必然 要 动用 宛 余 的 资源 。 这 些 资源 可 以 是 : 

(1) 时 间 。 如 一 个 比特 重复 发 几 次 ,或 一 段 消 息 重 复发 几 遍 ,或 根据 接收 端的 反馈 重 发 
受 损 信息 组 ,如 ARQ(automatic repeat request) 系 统 那 样 。 

(2) 频带 。 择 入 宙 余 比特 后 传输 效率 下 降 , 若 要 保持 有 用 信息 的 速率 不 变 , 最 直接 的 方 
法 就 是 增 大 符号 传递 速率 ( 波 特 率 ) .结果 就 占用 了 更 大 的 带宽 。 如 采用 二 进 制 (8,4) 分 组 码 
而 保持 频带 利用 率 等 于 每 赫兹 每 秒 1 符号 不 变 , 则 编码 后 符号 速率 增 大 一 倍 , 所 占 带 宽 也 增 
大 一 倍 。 

(3) 功率 。 采 用 多 进 制 符号 ,如 用 一 个 八进制 ASK 符号 代替 一 个 四 进 制 ASK 符号 来 
传送 2bit 信息 ,可 腾 出 位 置 另 传 1 宛 余 比 特 。 但 为 了 维持 信号 集 各 点 之 间 的 距离 不 变 , 八 
进 制 ASK 符号 的 平均 功率 肯定 比 四 进 制 时 要 增 大 ,这 就 是 动用 元 余 的 功率 资源 来 传输 需 
余 比 特 。 

(4) 设备 复杂 度 。 加 大 码 长 N. 采 用 网 格 编码 调制 (TCM) ,是 在 功率 、 带 宽 受 限 信道 中 
实施 纠 错 编 码 的 有 效 方法 ,代价 是 算法 复杂 度 的 提高 , 需 动用 设备 资源 。 

噪声 均 化 就 是 让 差错 随机 化 ,以 便 更 符合 编码 定理 的 条 件 从 而 得 到 符合 编码 定理 的 结 
果 。 噪 声 均 化 的 基本 思想 是 设法 将 危害 较 大 的 、 较 为 集中 的 噪声 干扰 分 摊 开 来 ,使 不 可 恢复 
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的 信息 损伤 最 小 。 这 是 因为 噪声 干扰 的 危害 大 小 不 仅 与 噪声 总 量 有 关 , 而 且 与 它们 的 分 布 
有 有关。 举例 来 说 ,二 进 制 (7,4) 汉 明码 能 纠 一 个 差错 ,假设 噪声 在 14 码 元 (两 码 字 ) 上 产生 
2 个 差错 ,那么 差错 的 不 同 分 布 将 产生 不 同 后 果 。 如 果 2 个 差错 集中 在 前 7 码 元 (同一 码 
字 ) 上 ,该 码 字 将 出 错 。 如 果 差 错 分 散在 前 、 后 两 个 码 字 ,每 码 字 承受 一 个 差错 , 则 每 码 字 差 
错 的 个 数 都 没有 超出 其 纠 错 能 力 范围 ,这 两 个 码 字 将 全 部 正确 解码 。 由 此 可 见 : 集中 的 噪 
声 干扰 ( 称 之 为 突 发 差错 ) 的 危害 甚 于 分 散 的 噪声 干扰 ( 称 之 为 随机 差错 ) 。 噪 声 均 化 正 是 将 
差错 均匀 分 挫 给 各 码 字 ,达到 提高 总 体 差错 控制 能 力 的 目的 。 

噪声 均 化 的 方法 主要 有 三 种 。 

(1) 增加 码 长 N。 前 面 已 从 编码 公式 角度 提 到 过 这 种 方法 ,这 里 想 通 过 一 个 具体 例子 
从 感性 上 理解 它 。 设 某 BSC 信道 误 码 概率 P. 二 0.01, 假 如 编码 后 的 纠 错 能 力 是 10%, 即 长 
度 N 的 码 字 中 ,只 要 差错 码 元 个 数 少 于 等 于 N 的 10%, 就 可 以 通过 译 码 加 以 纠正 。 先 设 码 
长 N=10, 码 字 中 多 于 1 位 误 码 时 就 会 产生 译 码 差错 ,差错 概率 为 

1 {10 
P=1— 让 | | 三 4 XO 


m 
如 果 保 持 码 率 R 不 变 , 将 码 长 增加 到 N=40, 那 么 当 码 字 中 多 于 4 位 误 码 时 才 会 产生 译 码 


m=0 


4\ {40 
P=1— 3 ad = 4.92 X 10- 


m=0 


从 以 上 例子 看 到 , 当 码 长 由 10 增加 到 40 时 , 译 码 差错 的 概率 下 降 了 二 个 数量 级 。 增 加 码 长 
可 使 译 码 误差 减 小 的 原因 在 于 : 码 长 越 大 ,具体 每 个 码 字 中 误 码 的 比例 就 越 接 近 统 计 平 均 
值 ,换言之 ,噪声 按 平均 数 均 摊 到 各 码 字 上 。 而 如 果真 的 均 摊 了 , 译 码 就 不 会 发 生 任何 差错 ， 
因为 信道 的 差错 概率 (P。 二 1%) 远 远 小 于 编码 后 的 纠 错 能 力 10%。 

(2) 卷 积 。 上 面 分 组 码 的 例子 都 是 把 单个 码 字 作为 孤立 的 独立 单元 ,编码 过 程 所 加 入 
的 完 余 度 、 相 关 性 局 限于 单个 码 字 内 ,而 码 字 之 间 是 彼此 无 关 的 。 后 来 卷 积 码 的 出 现 改 变 了 
这 种 状况 , 卷 积 码 在 一 定 约束 长 度 内 的 若干 码 字 之 间 也 加 进 了 相关 性 , 译 码 时 不 是 根据 单个 
码 字 ,而 是 一 串 码 字 来 作 判决 。 如 果 再 加 上 适当 的 编译 码 方法 ,就 能 够 使 噪声 分 摊 到 码 字 序 
列 而 不 是 一 个 码 字 上 ,达到 噪声 均 化 目的 。 

(3) 交错 (或 称 交织 )。 交 错 是 对 付 突 发 差错 的 有 效 措施 。 突 发 噪声 使 码 流产 生 集中 
的 、 不 可 纠 的 差错 , 若 能 采取 某 种 措施 ,对 编码 器 输出 的 码 流 与 信道 上 的 符号 流 作 顺序 上 的 
变换 , 则 信道 噪声 造成 的 符号 流 中 的 突 发 差错 ,有 可 能 被 均 化 而 转换 为 码 流 上 随机 的 、 可 纠 
正 的 差错 。 加 了 交错 器 的 传输 系统 如 图 6-8 所 示 。 


数据 入 一 | 编码 器 交错 器 


信道 去 交错 译 码 器 | 一 一 数据 出 


图 6-8 带 交错 器 的 传输 系统 


交错 的 效果 取决 于 信道 噪声 的 特点 和 交错 方式 。 最 简单 的 交错 器 是 一 个 2Xzz 的 存储 
阵列 , 码 流 按 行 输入 后 按 列 输出 。 图 6-9 是 一 个 适用 于 码 长 N=7 的 5X7 行列 交错 器 的 示 
意图 ,从 图 中 看 到 , 码 流 的 顺序 1,2,3… .7,8… 经 交错 器 后 变 为 1,8,15,22,29,2,9…。 现 假 
设 信道 中 产生 了 5 个 连续 的 差错 ,如 果 不 交错 ,这 5 个 差错 集中 在 1 个 或 2 个 码 字 上 ,很 可 
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能 就 不 可 纠 错 。 采 用 交错 方法 , 则 去 交错 后 差错 分 摊 在 5 个 码 字 上 ,每 码 字 仅 一 个 。 


出 
入 —=|71s 4[3[:|1 7[6[s[4[;3|T2 ~ 
sailnlvol | :| -5 | 出 
21|20|19|18|17| 16l1s 信道 中 5 个 连续 的 突 发 差错 ”| 21 [20 [19 | 18 | 17 | 16 | 15 
28|27|26|25|24|2|2 1 28 | 27 | 26 | 25 | 24 | 2 a 
35|34|33|32|31|30|29 35| 34 | 33| 32 | 31| 30 la 
交错 器 去 交错 器 。 入 


图 6-9 5X7 行列 交错 器 工作 原理 示意 图 


6.2.2 译 码 方法 一 一 最 优 译 码 与 最 大 似 然 译 码 


译 码 器 的 任务 是 从 受 损 的 信息 序列 中 尽 可 能 正确 地 恢复 出 原 信 息 。 作 为 译 码 器 的 输 
入 , 译 码 算法 的 已 知 条 件 是 

@ 实际 接收 到 的 码 字 序列 (7) ,rr 二 (nrz ,ry)。 

@ 发 送 端 所 采用 的 编码 算法 和 该 算法 产生 的 码 集 X” ,满足 c 一 (ca,cs，…cvw) EXY。 

@ 信道 模型 及 信道 参数 。 
其 中 加 .@ 是 必要 条 件 ,@ 尽 管 可 为 译 码 提供 准确 的 算法 依据 ,但 因 实 践 中 很 多 信道 参数 难 
以 得 到 ,因此 早期 的 译 码 算法 并 不 直接 用 到 它 。 现 代 信号 处 理 为 信道 的 盲 估计 提 供 了 各 种 
方法 ,现在 利用 信道 参数 的 译 码 算法 就 变 得 越 来 越 多 了 。 

译 码 器 译 码 时 , 先 根 据 接收 序列 {r} 解 得 发 送 码 字 序 列 {c;} 的 估 值 序列 {4) ,再 实行 编码 
的 逆 过 程 , 从 码 字 估 值 序列 {6} 还 原 出 消息 序列 { 殉 六 如 图 6-10 所 示 。 上 述 由 {r) 一 (人 46) 一 
{项 ;} 的 过 程 是 从 功能 角度 描述 的 ,具体 实现 时 可 综合 到 译 码 算法 中 一 次 完成 。 由 于 从 {6:} 
可 唯一 地 解 得 {区 ;) ,所 以 还 原 的 消息 正确 与 否 取 决 于 {6;) 是 否 等 于 {c;)。 


消息 组 m | (NA | 码 字 cE XN ，| 接收 码 + | 最 佳 / 最 大 | 码 字 估 值 6 | 消息 | 消息 


(nn mg) | 编码 器 | (cen,… ,cn) 人 (vrs… .70 似 然 谋 码 (6165.… 6) | 还 原 |G, 遍 ，… 太 x) 
图 6-10 译 码 过 程 

译 码 器 要 在 已 知 r 的 条 件 下 找 出 可 能 性 最 大 的 发 码 c; 作 为 译 码 估 值 C; , 即 令 
6 = MaxP(e;/r) (6-2-1) 


这 种 译 码 方法 叫做 最 佳 译 码 , 也 叫 最 大 后 验 概率 译 码 (maximum aposteriori, MAP), 它 是 一 
种 通过 经 验 与 归纳 由 收 码 推 测 发 码 的 方法 ,是 最 优 的 译 码 算法 。 但 在 实际 译 码 时 ,定量 地 找 
出 后 验 概率 值 是 很 困难 的 。 比 如 在 BSC 信道 或 DMC 信道 模型 里 ,只 告诉 信道 的 前 向 (发 一 
收 ? 转 移 概率 即 先 验 概率 ,并 没有 告诉 信道 的 后 向 ( 收 一 发 ) 转 移 概 率 即 后 验 概率 。 在 已 知 
r 的 条 件 下 使 先 验 概率 最 大 的 译 码 算法 叫 最 大 似 然 译 码 (maximum likelihood decoding， 
MLD) , 即 令 

¢ = MaxP(r | ci) (6-2-2) 
P(rle;) 也 叫 似 然 函数 。 利 用 贝 叶 斯 公式 可 以 建立 先 验 概率 和 后 验 概率 之 间 的 联系 
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Ple: | r) = Dep Te i (6-2-3) 
P(ei) 是 发 码 c; 的 概率 ,P(r) 是 接收 码 为 r 的 概率 ,P(r|ci) 是 先 验 概率 ,P(ei;|r) 是 后 验 
如 果 : 


@ 构成 码 集 的 2* 个 码 字 以 相同 概率 发 送 , 满 足 P(ei) 二 1/2* ,i 二 1,2*…2*。 

@ P(r) 对 于 任何 + 都 有 相同 的 值 ,满足 PCr) 一 1/2> 。 
则 Plei|7) 最 大 等 效 于 PCrlei) 的 最 大 ,在 此 前 提 下 最 大 后 验 概率 译 码 等 效 于 最 大 先 验 概率 
译 码 ,或 者 说 最 佳 译 码 等 效 于 最 大 似 然 译 码 。 理 论 上 ,可 以 通过 信 源 编码 算法 的 改进 及 扰 
码 、 交 织 的 采用 使 发 码 c; 等 概 化 , 令 信道 对 称 均衡 而 使 收 码 r 也 等 概 化 ,从 而 可 用 最 大 似 然 
译 码 蔡 代 最 佳 译 码 。 实 践 上 尽管 不 能 做 到 ci .r 两 者 的 完全 等 概 , 但 最 大 似 然 译 码 仍 是 可 行 
的 最 好 、 最 常用 方法 。 

对 于 无 记忆 信道 , 码 字 的 似 然 函 数 P(r/c;) 等 于 组 成 该 码 字 的 各 码 元 的 似 然 函数 之 积 
(联合 概率 ) , 码 字 的 最 大 似 然 也 就 是 各 码 元 似 然 函数 之 积 的 最 大 化 , 即 若 r= (ni ,rs，…， 


rN) ,Ci= (cnsci2 "oCN )， 则 


N 
Max P(r |c) = Max [Po | cs) (6-2-4) 
=1 


为 了 将 乘法 运算 简化 为 加 法 运算 , 取 似 然 函 数 的 对 数 , 称 作对 数 似 然 函 数 。 由 于 对 数 的 
单调 性 , 似 然 函数 最 大 时 对 数 似 然 函数 也 最 大 。 于 是 ,人 码 字 对 数 似 然 函数 最 大 化 等 效 于 各 码 
元 对 数 似 然 函数 之 和 的 最 大 化 , 即 


N 
Max logP(r | cj) = Max log Plr; |cr) (6-2-5) 


上 式 的 对 数 可 以 e 为 底 (自然 对 数 ) ,也 可 以 2 或 10 为 底 。 

作为 一 个 特例 ,BSC 信道 的 最 大 似 然 译 码 可 以 简化 为 最 小 汉 明 距 离 译 码 。 这 是 因为 当 
当 逐 比特 地 比较 发 码 和 收 码 时 , 仅 存在 两 种 可 能 性 : 相同 或 不 同 ,两 种 情况 发 生 的 概率 分 
别 是 


力 ， cr 天 六 时 
Plr; | cr) = (6-2-6) 
1—p, c=r 时 


如 果 r 中 有 4d 个 码 元 与 ci; 的 码 元 不 同 , 则 7 与 c; 的 汉 明 距离 是 4。 显 然 ,d 代表 cj; 在 BSC 信 
道 传 输 过 程 中 的 码 元 差错 个 数 ,也 就 是 + 与 c; 模 2 加 后 的 重量 


N 
d= dis(r,c) =W(rBe) = DrOo (6-2-7) 
d=- 
此 时 的 似 然 函 数 是 
N ad 
Prlc)= [PG/e) = p00— PN (二) (1—p)* (6-2-8) 


(1 一 p)* 是 常数 而 p/(1 一 p)<1。d 越 大 , 似 然 函数 P(rle;) 越 小 ,因此 求 最 大 似 然 函数 
Max P(r/ci) 的 问题 转化 成 求 最 小 汉 明 距离 min d 的 问题 。 

汉 明 距离 译 码 是 一 种 硬 判 决 译 码 。 我 们 只 要 在 接收 端 将 发 码 + 与 收 码 c; 的 各 码 元 逐一 
作 比 较 , 选 择 其 中 汉 明 距离 最 小 的 码 字 作为 译 码 估 值 < 。 由 于 BSC 信道 是 对 称 的 ,只 要 发 送 
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的 码 字 独 立 ,等 概 , 汉 明 距离 译 码 也 就 是 最 佳 译 码 。 


6.3 线性 分 组 码 


CA) 分 组 码 是 把 信息 流 分 割 成 一 串 前 后 独立 的 & 位 信息 组 ,再 将 每 组 信息 元 映射 成 由 了 
个 码 元 组 成 的 码 字 (codeword) 。A& 信息 元 组 可 以 写成 矢量 Gm- ，,… ,ma ,mo ) 或 矩阵 [zx -im…， 
mm yzo] 的 形式 , 码 字 可 写成 [c-，…cl,co] 或 (c- clyco)。 为 了 叙述 方便 ,以 下 认为 码 
矢 \ 码 字 , 码 组 是 同义词 ,对 重 矢量 、1Xn 矩阵. 行 矢 量 等 的 数学 表达 也 不 作 严格 区 分 。 信 
息 元 和 码 元 都 属于 信号 范畴 ,以 符号 (symbol) 为 基本 单位 。 二 进 制 时 一 码 元 符号 正好 对 应 
lbit 信息 ,多 进 制 时 必须 对 符号 和 比特 严 加 区 分 。 

在 6.1.3 随机 编码 一 节 已 经 提 到 过 ,k 信息 元 的 g* 种 组 合 对 应 到 g 进 制 n 维 n 重 矢量 
空间 后 构成 码 集 C, 由 于 gq: 二 gq" , 码 集 仅 是 一 个 子 集 。 随 机 编码 并 未 强调 这 个 子 集 是 怎样 的 
子 集 ,而 实际 编码 却 要 求 这 个 子 集 是 特殊 的 子 集 , 这 个 子 集 拥有 的 特性 越 多 则 码 的 特性 也 越 
多 。 于 是 人 们 会 问 : 

J@ 码 集 C 能 否 构 成 n 维 n 重 矢量 空间 的 一 个 k 维 n 重子 空间 ? 

@ 如 何 寻 找 最 佳 的 码 空间 ? 

@ 4% 个 信息 元 组 以 什么 算法 一 一 对 应 映射 到 码 空 间 ? 

一 般 分 组 码 的 码 集 未 必 能 构成 维 n 重 矢量 空间 的 & 维 n 重子 空间 ,但 车 被 称 为 线性 
分 组 码 , 则 其 码 集 一 定 正好 是 维 重子 空间 。 因 为 构造 线性 分 组 码 的 方法 也 就 是 构造 子 
空间 的 方法 : 在 n 维 n 重 空间 的 个 基底 中 选取 其 中 个 作为 码 空 间 的 基底 ,由 这 个 基 
底线 性 组 合 所 张 成 的 空间 就 是 k 维 n 重 码 空间 。 因 此 (n,k) 线 性 分 组 码 的 个 码 字 既是 码 
集 又 是 码 空间 ,而 一 般 分 组 码 只 能 是 码 集 。 

对 于 二 元 (n,k) 分 组 码 ,编码 前 & 个 符号 携带 & 比特 信息 ( 传 信 率 1bit/symbol) ,编码 后 
需 n 个 符号 才能 传送 k 比特 信息 ( 传 信 率 k/n bit/symbol) 。 由 式 (6-1-18) ,可 知 码 率 及 .一 
k/n; 对 于 g 元 (n,k) 分 组 码 , 码 率 R. 二 (k，logzqg)/n。 码 率 R. 体 现 了 传 信和 率 的 大 小 ,从 另 一 
角度 看 也 正好 说 明了 编码 效率 。 


6.3.1 线性 分 组 码 的 生成 矩阵 和 校 验 矩 阵 


线性 分 组 码 码 空间 C 是 由 k 个 线性 无 关 的 基底 gt-i,…',8i'8g 张 成 的 & 维 nn 重子 空 
间 , 码 空间 的 所 有 元 素 ( 即 码 字 ) 都 可 以 写成 & 个 基底 的 线性 组 合 : 
C= 7T2k-18k-l 十 … 十 zl8l 十 7zo8go (6-3-1) 
这 种 线性 组 合 特性 正 是 线性 分 组 码 名 称 的 来 历 。 显 然 ,研究 线性 分 组 码 的 关键 是 研究 基底 、 
子 空间 和 映射 规则 ,可 把 码 空 间 与 映射 关系 画 成 图 6-11 所 示 图 形 。 
用 g; 表 示 第 i 个 基底 并 写成 1Xn 矩阵 形式 
Bi 一 [ gio-bygio-a saygao] (6-3-2) 
再 将 个 基底 排列 成 行 n 列 的 G 矩阵 
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大 维 7 本 


码 空间 ， 
G 


6-11 码 空间 与 映射 


gt-DorD “” BA-D1 有 -Do 


G= [gi …8: 8 = . | . (6-3-3) 
B10D 人 B11 B10 
goo-D 2 Bol Bo0 


对 照 式 (6-3-1) ,得 
c= [cycayco] = meget migitmg tmgo = mG (6-3-4) 
其 中 m= 二 [mar-1,… ,mi ,moj 是 (1Xk) 信 息 元 和 矩阵 ,g; = 二 [giow-p，*… ,ga,goj],i==0,*…,k 一 1 
是 G 中 第 i 行 的 行 矢量, 也 是 张 成 码 空间 的 第 i 个 基底 ,同时 也 是 码 空间 元 素 即 码 字 之 一 。 
由 于 k 个 基底 即 G 的 k 个 行 矢 量 线性 无 关 , 和 矩阵 G 的 秩 一 定 等 于 k。 当 信息 元 确定 后 , 码 字 
仅 由 G 和 矩阵 决定 ,因此 我 们 称 这 kXn 矩阵 G 为 该 (x,k) 线 性 分 组 码 的 生成 矩阵 。 
基底 不 是 唯一 的 ,生成 矩阵 也 就 不 是 唯一 的 。 事 实 上 ,将 个 基底 线性 组 合 后 产生 男 一 
组 k 个 矢量 ,只 要 满足 线性 无 关 的 条 件 ,依然 可 以 作为 基底 张 成 一 个 码 空间 。 不 同 的 基底 有 
可 能 生成 同一 码 集 , 但 因 编 码 涉及 码 集 和 映射 两 个 因素 , 码 集 一 样 而 映射 方法 不 同 也 不 能 说 
是 同样 的 码 。 
基底 的 线性 组 合 等 效 于 生成 矩阵 G 的 行 运算 ,可 以 产生 一 组 新 的 基底 。 我 们 可 以 利用 
这 点 使 生成 矩阵 具有 如 下 的 “系统 形式 ”: 
1 0 … 0 pavoaty … pa-v pu-vo 


0 1 … 0 长 
G=[L:P]=|. .. .i (6-3-5) 

3 : 5 ;Diop pu pr 

0 0 0 1: poe I po poo 


这 里 了 是 kX(n 一 k) 和 矩阵 ,是 kXk 单位 矩阵 ,从 而 保证 了 和 矩阵 的 秩 是 &。 

信息 组 m 乘 以 系统 形式 的 生成 矩阵 G 后 所 得 的 码 字 , 其 前 A 位 由 单位 矩阵 五 决定 ,一 
定 与 信息 组 各 码 元 相同 ,而 其 余 的 n 一 k 位 是 & 个 信息 位 的 线性 组 合 , 叫 完 余 比 特 或 一 致 校 
验 位 。 这 种 把 信息 组 原封 不 动 搬 到 码 字 前 & 位 的 码 叫 系统 码 ,其 码 字 具有 如 下 形式 

C 一 (col1 Ca Cat 1 00) = Mil 111 91120 Ca 3Co) (6-3-6) 

反之 ,不 具备 “系统 ”特性 的 码 叫 非 系 统 码 。 非 系统 码 与 系统 码 并 无 本 质 的 区 别 , 它 的 生 
成 矩阵 可 以 通过 行 运算 转变 为 系统 形式 ,这 个 过 程 叫 系统 化 。 系 统 化 不 改变 码 集 ,只 是 改变 
了 映射 规则 。 

与 任何 一 个 (n.k) 分 组 线性 码 的 码 空间 C 相对 应 ,一 定 存在 一 个 对 偶 空 间 D。 事实 上 ， 
码 空 间 基 底数 只 是 n 维 n 重 空间 全 部 个 基底 的 一 部 分 , 若 能 找 出 另外 一 k 个 基底 ,也 
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就 找到 了 对 偶 空间 刀 。 既 然 用 & 个 基底 能 产生 一 个 (z,&) 分 组 线性 码 ,那么 也 就 能 用 7 一 
个 基底 产生 包含 2" “个 码 字 的 (n,n 一 k) 分 组 线性 码 , 称 (n,n 一 k) 码 是 (n,k) 码 的 对 偶 码 。 
将 DD 空间 的 n 一 & 个 基底 排列 起 来 可 构成 一 个 (n 一 k) X 矩阵 ,将 这 个 矩阵 称 作 码 空 间 C 的 
校 验 矩阵 五 ,而 它 正 是 (n,n 一 k) 对 偶 码 的 生成 矩阵 , 它 的 每 一 行 是 对 偶 码 的 一 个 码 字 。C 和 
D 的 对 偶 是 相互 的 ,G 是 C 的 生成 矩阵 又 是 D 的 校 验 矩阵 ,而 HH 是 D 的 生成 矩阵 ,又 是 C 
的 校 验 矩阵 ( 见 图 6-11)。 

由 于 C 的 基底 和 D 的 基底 正 交 , 空 间 C 和 空间 D 也 正 交 ,它们 互 为 零 空间 ,因此 ,(n,k) 
线性 码 的 任意 码 字 c 一 定 正 交 于 其 对 偶 码 的 任意 一 个 码 字 ,也 必定 正 交 于 校 验 矩阵 H 的 任 
意 一 个 行 矢量 , 即 


cr 三 0 (6-3-7) 
式 中 ,0 代表 零 阵 , 它 是 [1 Xn]X[nX(n 一 k)]==1X (n 一 全 零 和 撩 量 。 式 (6-3-7) 可 以 用 来 检 
验 一 个 nn 重 矢量 是 否 为 码 字 : 车 等 式 成 立 ( 得 零 矢量 ) ,该 nn 重 必 为 码 字 ,否则 必 不 是 码 字 。 
由 于 生成 矩阵 的 每 个 行 矢量 都 是 一 个 码 字 , 因 此 必 有 
GHT 一 0 (6-3-8) 
这 里 ,0 代表 [kXn]X[nx(n 一 k)] 二 kX (2 一 A) 的 零 矩阵 。 
对 于 生成 矩阵 符合 式 (6-3-5) 的 系统 码 ,其 校 验 矩 阵 也 是 规则 的 , 必 为 
H= [—PY :1,-] (6-3-9) 
上 式 中 的 负 号 在 二 进 制 码 情况 下 可 省 略 , 因 为 模 2 减法 和 模 2 加 法 是 等 同 的 。 
验证 H 的 方法 是 看 它 的 行 矢 量 是 否 与 G 的 行 矢量 正 交 , 即 式 (6-3-8) 是 否 成 立 。 此 处 
GHT = [1 P][ 一 PT :ha] = [PI]+[PI]= [P+[P]=0 (6-3-10) 
式 中 ,两 个 相同 矩阵 模 2 加 后 为 全 零 矩 阵 。 这 就 证 明了 H 确 是 校 验 矩阵 。 


1110100 
例 6-2 ”考虑 一 个 (6,3) 线 性 分 组 码 ,其 生成 矩阵 G=|1 1 0 0 0 1|@ 
01110 1J9 


(1) 计算 码 集 , 列 出 信息 组 与 码 字 的 映射 关系 。 

(2) 将 该 码 系统 化 处 理 后 ,计算 系统 码 码 集 , 并 列 出 映射 关系 。 

(3) 计算 系统 码 的 校 验 矩阵 了。 若 收 码 r 王 [100110] ,检验 它 是 否 为 码 字 。 
(4) 根据 系统 码 生 成 矩阵 , 画 出 编码 器 电 原理 图 。 

解 : (1) 由 式 (6-3-4) ,ec 一 ms[111010] 十 mL110001] 十 moL011101] 

令 [ms ma mo] 王 000,…,111. 代 入 得 到 码 集 和 映射 关系 如 表 6-2 前 2 列 。 


表 6-2 ” 码 集 与 映射 关系 


信息 码 字 系统 码 字 
000 000000 000000 
001 011101 001011 
010 110001 010110 
011 101100 011101 
100 111010 100111 
101 100111 101100 
110 001011 110001 
111 010110 111010 
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(2) 对 G 作 行 运算 , 原 @ 行 相 加 作为 第 1 行 , 原 @@ 行 相 加 作为 第 2 行 , 原 @ 行 
100 1 1 10+@ 
相 加 作为 第 3 行 ,得 系统 化 后 的 生成 矩阵 G.=|0 1 0 1 1 ootoro 
0010 1 10+® 
于 是 系统 码 c 二 ms[100111] 十 ma[010110] 十 mo[001011], 令 [mz ma mo] 二 000,…,111， 
代入 得 到 码 集 和 映射 关系 如 表 6-2 第 3 列 。 对 比 表 6-2 的 2、3 两 列 , 证 实 系 统 化 前 后 的 码 
集 未 变 ,但 映射 关系 变 了 。 


直人 ls, 
(3) G=|0 1 oi1 1 0|=[5 ;PJ,H=[PT ;LJ=|1 1 1i:o 1 0 
0 Ew 0 00-1 

可 见 ,3 个 基底 (100111)、(010110)、(001011) 张 成 了 码 空间 C, 另 3 个 基底 (110100)、 


(111010) 、(101001) 张 成 了 对 偶 码 空间 D。 


和 NT 

计算 r HT7=[100110]。 | iiioi0 一 [001] 天 0, 可 断言 > 不 是 码 字 。 
和 

(4) ec 王 (cscics czclco) 一 (72z7217toczclco) 一 miz[100111] 十 za[010110] 十 moL001011] 


Cs 一 712 


mo | mi | m, 


ci 一 7 输入 
攻 网 输出 
c3=mo 
得 线性 方程 组 : 中 
C2 =mz 二 mi 


Cc Cc 0 
C1=mzTm +mo ”| 1 


co=ms 二 mo 图 6-12 二 元 (6,3) 线 性 分 组 
据 此 可 夯 出 电 原理 图 如 图 6-12 所 示 。 码 编码 器 


6.3.2 伴随 式 与 标准 阵列 译 码 


码 字 CC 二 (6c,-1,… ,cwco) 在 传输 过 程 中 受到 各 种 干扰 ,接收 端的 收 码 R= (7,-1，… ,ni， 
mo) 已 不 一 定 等 于 发 码 C, 两 者 间 的 差异 就 是 差错 。 差错 是 多 样 化 的 ,定义 差错 的 式样 为 差 
错 图 案 EE. 即 
E= (ee 360) = R—C = (ri 一 co 57i 一 cly7o 一 Co) (6-3-11) 
对 于 二 进 制 码 , 模 2 减 等 同 模 2 加 ,因此 有 
E=R+C 及 R=C+Emod?2 《6-3-12) 
利用 码 字 与 校 验 矩阵 的 正 交 性 CHT 二 0 可 检验 收 码 R 是 否 有 错 , 即 
RHT= (C+ E)H’ = CH + EH™ 
一 0， 收 码 无 误 
一 0 十 EHT 一 BEEHT 《6-3-13) 
隆 0， 收 码 有 误 


定义 RHT 的 运算 结果 为 伴随 式 S 
S 一 (eayso) 一 RHT 一 EHT (6-3-14) 
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可 见 虽 然 R 本 身 与 发 码 有 关 , 但 乘 以 H' 后 的 伴随 式 RH' 一 $ 一 EH" 仅 与 差错 图 案 E 有 
关 , 只 反映 信道 对 码 字 造成 怎样 的 干扰 而 与 发 什么 码 C 无 关 了 。 于 是 可 以 先 利用 收 码 R 和 
已 知 的 五 算出 伴随 式 S, 再 利用 S$ 算出 差错 图 案 E。 这 种 思路 下 的 编译 码 过 程 如 图 6-13 所 
示 , 在 此 过 程 中 ,RH7 和 RE 的 计算 都 是 确定 性 的 ,而 从 S 计算 E 却 带 有 随机 性 。 这 是 因 
为 伴随 式 S 是 一 个 (n 一 k) 重 矢量 ,二 进 制 时 只 有 2"“ 种 可 能 的 组 合 ,而 差错 图 案 E 是 n 重 
矢量 ,有 2 种 可 能 的 组 合 ,因此 $ 与 五 不 存在 一 一 对 应 关系 。 


输出 


E 
包 -| 编 码 mG cda pi [HE | CarE 


6-13 ”编译 码 过 程 框图 


可 以 通过 解 线 性 方程 来 求解 EE。 由 式 (6-3-14) 得 
$= (ss 55 50) = EHT 


Wd eh T 
= (ei,°"e1 ,C0) l . : (6-3-15) 
hioy Pr hu hio 
i Ee ho hoo 
展开 成 线性 方程 组 形式 ,为 
Sn = ErnihoiDeoD 二 "十 eh ti 二 Cohn to 


(6-3-16) 
$1 = erihiop 十 … 十 ea 十 eojao 


so = en-ljhoo-b 十 … 十 eljhol 十 eohoo 
上 式 有 nn 个 未 知 数 e,-1，…,e1,eo, 却 只 及 一 k 个 方程 。 在 有 理 数 或 实数 域 中 , 少 一 个 方程 
就 可 导致 无 限 个 解 , 而 在 二 元 域 中 , 少 一 个 方程 导致 两 个 解 , 少 两 个 方程 导致 四 个 解 , 以 此 类 
推 , 少 n 一 (n 一 k) 二 个 方程 导致 每 个 未 知 数 有 2: 个 解 。 因 此 ,对 应 每 一 个 确定 的 $, 差 错 图 
案 E 有 2 个 解 ,但 最 终 解 只 能 取 其 中 一 个 , 究 竞 取 哪 一 个 好 呢 ? 最 简单 合理 的 处 理 方法 叫 
概率 译 码 , 它 以 2: 个 解 的 重量 (E 中 1 的 个 数 ) 为 依据 ,选择 其 中 最 轻 者 作为 EE 的 估 值 。 这 
种 算法 的 理论 根据 是 : 若 BSC 信道 的 差错 概率 是 p, 则 长 度 n 的 码 中 错 一 位 (E 中 有 一 个 1) 
的 概率 是 p(1 一 p)"-!, 错 二 位 的 概率 是 请 (1 一 记 )" 一 ,…, 以 此 类 推 。 由 于 p 攻 1, 必 有 
pO1 一 p)" 人 >p* (1 一 p)" 全 … 人 >p"1(1 一 p) 人 >p", 所 以 重量 最 小 的 EE 意味 着 正确 译 码 的 
概率 最 大 。 由 于 E= 二 R 十 C,E 重量 最 小 就 是 R 与 C 的 汉 明 距离 最 小 ,所 以 二 进 制 的 概率 译 
码 实际 上 就 是 最 小 汉 明 距离 译 码 ,也 就 是 最 大 似 然 译 码 。 

上 述 的 概率 译 码 ,每 接收 一 个 码 字 就 要 解 一 次 线性 方程 ,运算 量 大 。 好 在 伴随 式 的 数目 
是 有 限 的 2 一 个 ,如 果 ?一 上 不 太 大 ,可 以 换 一 种 思路 来 解 这 个 问题 : 预先 把 S 不 同 取 值 时 
的 方程 组 解 出 来 , 按 最 大 概率 译 码 2: 取 1 后 把 各 种 S 取 值 下 的 输出 列 成 一 个 码 表 。 这 样 ， 
实时 译 码 时 就 不 必 再 去 解 方程 ,而 只 要 像 查 字典 那样 查 一 下 码 表 就 可 以 了 ,其 实质 是 用 存 
储 、 查 询 量 的 增 大 换取 实时 计算 量 的 减 小 。 以 下 是 构造 标准 阵列 译 码 表 的 一 般 方法 。 

第 一 步 : 用 概率 译 码 确定 各 伴随 式 对 应 的 差错 图 案 。 将 S 的 可 能 取 值 逐 一 代入 方程 组 
(6-3-16) ,对 应 每 个 S 都 有 E 的 2 个 解 , 取 其 中 重量 最 小 者 为 E 的 估 值 。S 有 2"“ 种 取 值 ， 
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因此 需要 解 2 “次 方程 组 。 这 里 很 可 能 会 出 现 一 种 情况 : E 的 2 个 解 中 有 两 个 或 两 个 以 上 
并 列 重量 最 小 ,到 底 取 哪个 ”出现 这 种 情况 后 实际 上 就 找 不 出 最 优 解 了 ,所 以 重要 的 问题 在 
于 根本 不 让 此 类 问题 发 生 , 这 正 是 后 面 将 介绍 的 完备 码 的 思路 。 

第 二 步 : 确定 标准 阵列 译 码 表 的 第 一 行 和 第 一 列 。 鉴 于 接收 码 R 有 2" 种 可 能 的 取 值 ， 
伴随 式 $S 有 2"“ 种 可 能 的 取 值 , 码 字 C 有 2 种 可 能 的 取 值 ,所 以 译 码 表 设计 成 2 “ 行 、2* 
列 。 在 第 一 行 的 2: 格 放置 2 个 码 字 C;(i 二 0,…,2* 一 1) ,它们 也 就 是 无 差错 时 的 接收 码 , 此 
时 伴随 式 S, 二 (0,0,…,0) ,差错 图 案 瓦 王 (0,0,…,0),R=C 十 B 王 C 即 收 码 等 于 发 码 。 又 
在 第 一 列 的 2" 一 格 放置 $ 的 2"“ 可 能 取 值 所 对 应 的 线性 方程 组 最 轻 解 ,这 些 解 按 概率 大 小 
排列 ,重量 轻 者 在 先 ,重量 大 者 在 后 。 第 一 列 的 首位 一 定 存放 全 零 伴随 式 S。 所 对 应 的 全 零 
差错 图 案 E, , 译 码 正确 概率 (1 一 p)"; 接 下 的 第 2 到 第 十 1 位 填 上 所 有 重量 为 1 的 差错 图 
案 (10…00),(01…00),…,(00…01) 共 nn 个 ,这 些 差错 图 案 对 应 个 伴随 式 值 $1 ~~$S,+41, 译 
码 正确 概率 p(1 一 p)”!; 如 果 此 时 第 一 列 还 有 多 余 的 格子 即 (1 十 n) 二 2"“, 接 着 再 在 后 面 
格 中 填 人 带 2 个 差错 的 图 案 (11…00),(011…00),…,(00…011),(101…00),… 等 ,最 多 


(+ 如 所 占 行 数 [14+ 十 [”] ] 仍 小 于 2 ,再 列 出 带 3 个 差错 的 图 案 ,以 此 类 推 ,直到 
放 满 为 止 。 

第 三 步 ; 在 码 表 的 第 j 行 .第 i 列 填 入 Ci 十 E,( 见 表 6-3)。 显 然 ,标准 阵列 译 码 表 同一 
行 的 每 列 中 包含 同一 个 差错 图 案 , 同 一 列 的 每 行 中 包含 同一 个 码 字 , 表 中 元 素 的 总 数 是 2 
( 行 数 2 二 又 列 数 2 。 


解 线性 表 6-3 标准 阵列 译 码 表 
方程 组 


So > E 

S， 之 E, 五 ; 十 Cox- 
S; 之 E, E;+ C2- 
So > Ert_l Ean-t—i tC 


接收 码 可 能 是 维 重 空间 的 任 一 点 ,而 码 集 C 是 接收 码 集 合 R 的 子 集 。 从 群 的 角度 
看 ,(C, * )C(R, x ),E;ER 而 C;EC。 将 群 R 的 元 素 E,; 与 群 C 中 的 每 个 元 素 Ci(i 二 0,…， 
2 一 1) 作 左 ( 右 ) 运 算 , 所 得 的 等 价 类 称 作 左 ( 右 ) 陪 集 , 陪 集 各 元 素 所 含 的 共同 元 素 E, 称 作 
障 集 首 。 根 据 这 样 的 定义 , 表 6-3 的 每 一 行 都 是 某 个 ,与 码 集 C 各 元 素 模 2 运算 结果 , 因 
此 每 一 行 就 是 一 个 陪 集 , 陪 集 首 是 E, ,每 陪 集 对 应 同一 个 伴随 式 。 数 学 上 已 有 证 明 : 两 个 陪 
集 要 么 相等 要 么 不 相交 。 换 言 之 ,只 要 第 一 列 不 存在 相同 的 元 素 ,也 就 是 2-* 个 陪 集 首 各 
不 相同 ,就 可 以 保证 2 个 障 集 互 不 相交 .不 存在 重复 元 素 。 于 是 可 断言 , 码 表 所 列 2 个 元 
素 正 是 接收 码 所 在 4 维 重 空间 R 的 全 部 元 素 ,任何 收 码 R 都 可 以 在 表 中 找到 对 应 项 ,无 
一 重复 ,无 一 遗漏 。 

例 6-3 某 (5,2) 系 统 线性 码 的 生成 矩阵 是 c=-|， 1 |. 设 收 码 是 R= 


(10101) ,请 先 构造 该 码 的 标准 阵列 译 码 表 , 然 后 译 出 发 码 的 估 值 C。 
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解 : 分 别 以 信息 组 m 二 (00),(01),(10),(11) 及 已 知 的 G 代 入 式 (6-3-4), 求 得 4 个 许 
用 码 字 为 Co 一 (00000) ,Ci 二 (10111) ,Cs 二 (01101) ,Cs 二 (11010)。 

由 式 (6-3-9) , 求 得 校 验 矩阵 为 
i i We has hy Pa hos 
| 中 区 iis hs. Ri | 

0 


1 1 hos hos jos ho hoo 


H= [Pr :1,]= 


按 式 (6-3-16) 列 出 方程 组 
‘ = eshz4 eshzs eshzz eha 十 eojhzo = ed 十 es 十 ez 


51 = etjas 十 esjas 十 ezjas 十 etja 十 eojao = ette 
so = esho4 十 esjhos 十 ezhos 十 eihoi 十 eohoo 一 es 十 es 十 eo 


伴随 式 有 2 一 一 2 一 8 种 组 合 , 而 差错 图 案 除 了 代表 无 差错 的 全 零 图 案外 ,代表 一 个 差 


错 的 图案 有 | ,| 5 种 ,代表 两 个 差错 的 力 案 有 | 2 = 10 种。 要 把 8 个 伴随 式 对 应 到 8 个 最 
轻 的 差错 图 案 , 无 疑 先 应 选择 正确 译 码 概率 最 大 的 全 零 差错 图 案 和 5 种 一 个 差错 的 图 案 。 
剩 下 的 两 个 伴随 式 ,不 得 不 在 10 种 两 个 差错 的 图 案 中 选取 其 中 两 个 。 先 将 E; 二 (00000)， 
(10000) ,C01000),(00100) ,C00010),(00001) 代 入 上 面 的 线性 方程 组 , 解 得 对 应 的 S 分 别 
是 (000),(111),(101),(100),(010),(001)。 剩 下 的 两 个 伴随 式 是 (011),(110), 每 个 有 2: 
种 解 ,对 应 2: 个 差错 图 案 。 本 例 伴随 式 (011) 的 2? 个 解 (差错 图 案 ) 是 (00011),(10100)， 
(01110),(11001), 其 中 (00011) 和 (10100) 并 列 最 小 重量 ,只 能 选择 其 中 之 一 作为 解 , 例 如 选 
择 前 者 (00011)。 若 追问 为 什么 不 选 (10100) ,我 们 将 无 言 以 对 ,因为 如 选 后 者 从 译 码 正确 概 
率 来 看 是 一 样 的 ,这 里 的 非 唯一 性 正 是 这 种 译 码 方法 的 破绽 。 同 理 , 可 选择 本 题 伴随 式 
(110) 所 对 应 的 最 轻 差错 图 案 之 一 (00110) 。 至 此 ,根据 4 个 码 字 和 8 个 差错 图 案 ,可 列 出 标 
准 阵 列 译 码 表 如 表 6-4 所 示 。 
表 6-4 例 6-3(5,2) 线 性 码 的 标准 阵列 译 码 表 


So 一 000 下 "十 Co 一 00000 Ci 一 10111 C:=01101 C:=11010 
S=111 E, =10000 00111 11101 01010 
S:=101 E; 一 01000 11111 00101 10010 
Ss: 一 100 E:=00100 10011 01001 11110 
SS,=010 E, =00010 10101 01111 11000 
Ss=001 E; =00001 10110 01100 11011 
Se 一 011 Es =00011 10100 01110 11001 
S 一 110 五 ;一 00110 10001 01011 11100 


若 收 码 R==(10101) ,可 用 以 下 三 种 方法 之 一 译 码 。 

(1) 直接 对 码 表 作 行 、 列 两 维 搜索 找到 (10101), 它 所 在 列 的 子 集 头 是 (10111) ,因此 取 
译 码 输出 为 (10111)。 

(2) 先 计算 伴随 式 RHT 二 (10101)。 HT 二 (010) 二 5, ,确定 $, 所 在 行 ,再 沿 着 行 对 码 表 
作 一 维 搜索 找到 (10101) ,最 后 顺 着 所 在 列 向 上 找 出 码 字 (10111) 。 

(3) 先 计 算 伴 随 式 RHT 一 (010) 一 S: 并 确定 $, 所 对 应 的 陪 集 首 (差错 图 案 )E, 二 
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(00010) ,再 将 陪 集 首 与 收 码 相 加 得 到 码 字 C 一 R 十 已 ,一 (10101) 十 (00010) 王 (10111) 。 
从 方法 (1) 到 方法 (3) , 查 表 的 时 间 下 降 而 运算 量 增 大 ,可 针对 不 同情 况 选用 。 
国 解 毕 
进一步 分 析 , 本 题 (5,2) 码 码 集 的 4 个 码 字 中 , 除 全 零 码 外 最 轻 码 的 重量 dei 一 3, 下 节 
会 讲 到 其 纠 错 能 力 :二 1。 上 面 我 们 已 经 看 到 ,在 制定 标准 阵列 译 码 表 过 程 中 ,由 S 决定 
差错 图 案 E 时 只 有 前 6 行 真正 体现 了 最 大 似 然 译 码 准则 ,而 第 7、8 行 差错 图 案 的 选择 不 具 
有 唯一 性 。 比 如 第 7 行 可 有 (00011)、(10100) 两 个 选择 ,如 果 制 作 码 表 当 初 选 的 Es 不 是 
(00011) 而 是 (10100) ,那么 码 表 第 7 行 的 四 个 元 素 应 是 10100、00011、11001、01110。 设 想 
接收 码 R 二 10100, 若 制 表 时 选 E; 二 (00011) 则 译 码 输出 C= 10111, 若 制 表 时 选 Es = 
(10100) 则 译 码 输出 C 二 00000, 两 种 情况 下 收 码 R 和 译 码 C 的 汉 明 距离 都 是 2, 因此 正确 译 
码 的 概率 也 是 一 样 的 ,区 分 不 出 哪个 更 好 些 。 产 生 这 种 结果 的 原因 之 一 ,是 前 6 行 差错 图 案 
的 重量 不 大 于 1, 在 1=1 纠 错 能 力 范围 之 内 ,而 第 7.8 行 差错 图 案 的 重量 已 大 于 1, 超出 了 
纠 错 能 力 范 围 。 由 此 我 们 想到 ,伴随 式 的 个 数 2" 应 该 与 n、k 及 纠 错 能 力 : 形成 一 定 的 数 
量 关系 ,这 就 导致 了 线性 分 组 码 纠 检 错 能 力 的 分 析 和 完备 码 概念 的 提出 。 


6.3.3 码 距 、 纠 错 能 力 `.MDC 码 及 重量 谱 


在 6.1.3 随机 编码 一 节 中 已 提 到 ,N 重 码 矢 ec 一 (c-iyc-s ,cyco) 可 与 N 维 矢量 空 
间 X* 中 的 一 个 点 对 应 ,全 体 码 字 所 对 应 的 点 构成 矢量 空间 里 的 一 个 子 集 。 发 码 一 定 在 这 
个 子 集 里 ,传输 无 误 时 的 收 码 也 一 定位 于 该 子 集 。 当 出 现 差错 时 ,接收 的 N 重 矢量 有 两 种 
可 能 : 一 是 变 得 对 应 到 子 集 外 空间 某 一 点 , 另 一 种 是 仍然 对 应 到 该 子 集 , 却 对 应 到 该 子 集 的 
另 一 点 上 。 前 一 种 情况 下 我 们 尚 能 发 现 对 应 点 不 在 子 集 上 从 而 判断 出 差错 的 存在 ,而 当 后 一 
种 情况 发 生 时 ,我 们 根本 无 法 判断 是 传输 发 生 差错 还 是 原本 发 送 的 就 是 另 一 个 码 字 。 图 6-14 
是 码 距 .最 小 距离 与 纠 检 错 能 力 关系 的 示意 图 ,图 中 黑 点 代表 码 集 点 ,灰色 点 代表 N 维 空间 
非 码 集 点 。 码 集 各 码 字 间 的 距离 是 不 同 的 ,比如 码 字 Ci 、C; 、C; 间 的 码 距 分 别 是 3、5、7。 正 
如 木 桶 最 短 边 决定 木 桶 容量 一 样 , 码 距 最 小 者 决定 码 的 特性 ,我 们 称 之 为 最 小 距离 dw ,这 
里 do 二 3。 如 果 Ci 的 接收 码 位 朝 C* 的 方向 错 1, 尽 管 变 得 离 C, 远 1 而 离 C; 近 1, 由 于 最 
近 码 仍 是 Ci , 按 最 大 似 然 译 码 仍然 译 为 C, 从 而 差错 可 纠 ; 如 果 Ci 的 接收 码 位 朝 C; 的 方向 
错 2, 接 收 端 可 以 察觉 到 已 有 差错 发 生 , 但 从 概率 角度 出 发 认为 发 码 是 C; 的 可 能 性 最 大 ,此 
时 若 作 检 错 尚 能 有 效 发 现 差 错 , 若 作 纠 错 就 会 译 码 输出 C: 而 产生 一 个 译 码 差 错 ; 再 进 一 
步 ,如 果 Ci 的 接收 码 位 朝 C; 的 方向 错 3, 则 接收 码 
就 是 C* , 译 码 系统 会 认为 接收 端 准确 无 误 地 收 到 了 
发 送 端 发 来 的 C: , 绝 不 会 认为 收 到 的 Cs 是 发 送 Ci 
而 错 3 位 导致 的 ,换言之 ,此 时 根本 检 不 出 任何 差 
错 。 对 于 图 6-14 所 示 码 集 ,可 见 纠 错 能 力 是 1 而 
检 错 能 力 是 2, 这 个 观察 结果 可 以 推广 到 一 般 。 

定理 6-1 任何 最 小 距离 dw 的 线性 分 组 码 , 其 
检 错 能 力 为 (dw 一 1) , 纠 错 能 力 :为 

1 


所 INT [2 ] (6-3-17) 


图 6-14 码 距 、 最 小 距离 与 纠 检 错 能 力 关系 


150 信息 论 与 编码 ( 第 3 版 ) 


最 小 距离 ds 表明 码 集 中 各 码 字 差 异 的 程度 ,差异 越 大 越 容易 区 分 , 抗 干扰 能 力 自然 越 
强 , 因 此 成 了 衡量 分 组 码 性 能 最 重要 的 指标 之 一 。 估 算 最 小 距离 是 纠 错 码 设计 的 必要 步骤 ， 
最 原始 的 方法 是 逐一 计算 两 两 码 字 间 距离 , 找 出 其 中 最 小 者 。 含 2: 个 码 字 的 码 集 需 计算 2 
(2 一 1)/2 个 距离 后 才能 找 出 ds ,费时 太 多 ,实用 中 还 有 一 些 更 好 更 快 的 方法 。 
定理 6-2 ”线性 分 组 码 的 最 小 距离 等 于 码 集 中 非 零 码 字 的 最 小 重量 ， 
dan = min{w(C)}, C: ECRCi#A0 (6-3-18) 
式 中 ,符号 w(C;) 表 示 C: 重 量 (1 的 个 数 )。 这 里 利用 了 群 的 封闭 性 ,由 于 分 组 码 是 群 码 , 任 
意 两 码 字 之 和 仍 是 码 字 , 即 CC 二 C;: EC, 因 此 任意 两 码 字 间 的 汉 明 距离 其 实 必 是 男 一 码 
字 的 重量 ,表示 为 d(CG; ,Ci)= 二 w(C; 旬 Ci;)==w(C;) ,min{d(C; ,C.)}=min{w(C;)}.。 
于 是 最 小 距离 问题 转化 为 寻找 最 轻 码 字 问 题 , 含 2 个 码 字 的 码 集 仅 需 计算 2 次 。 
定理 6-3 (n,k) 线性 分 组 码 最 小 距离 等 于 dss 的 必要 条 件 是 : 校 验 矩阵 五 中 有 
(dnin 一 1) 列 线性 无 关 。 
定理 6. 3. 3 的 简要 说 明 如 下 : 因 H 是 (n 一 k) Xn 矩阵 ,其 n 列 可 写成 H=[h,-1,…， 
hi ,hoj], 其 中 hh,-1,…,h。 是 列 矢量 。 对 于 任何 码 字 C=[ cs-1,…,c,coj, 都 有 
CHT= [cs sc1 sc0) [hey s °° sh sho]™ 
= ce-ijpr 十 … 十 cl 十 coid =0 (6-3-19) 
如 果 码 的 最 小 距离 即 码 中 *1” 的 个 数 为 das, 则 上 式 作为 系数 的 码 元 c-1,… ,csco 中 至 少 
有 din 个 为 非 零 元 素 , 式 (6-3-19) 最 少 有 dwis 非 零 项 。 换 言 之, 至少 don 个 列 矢量 之 和 才能 
线性 组 合 出 零 , 少 一列 即 (ds 一 1) 列 就 不 能 线性 组 合 出 零 , 所 以 (dm 一 1) 列 必定 是 线性 无 
关 的 。 
定理 6. 3. 3 指出 了 计算 di 上限 的 又 一 种 方法 : 计算 校 验 矩阵 HH 的 秩 ( 等 于 线性 无 关 
的 列 数 ), 则 五 的 秩 加 1 就 是 最 小 距离 de 的 上 限 。 计 算 和 矩阵 秩 的 运算 量 一 般 又 比 逐 个 计算 
码 重 少 ,使 ds 上 限 的 计算 更 容易 ,同时 ,从 这 里 还 可 以 推出 另 一 个 有 用 的 结论 。 
定理 6-4 。”(n,k) 线 性 分 组 码 的 最 小 距离 必定 小 于 等 于 (n 一 k 十 1) 
dnn SZ (n—k+1) (6-3-20) 
这 是 因为 H 是 (n 一 k) Xn 和 矩 阵 ,该 矩阵 的 秩 最 大 ( 满 秩 ) 时 也 不 会 超过 (n 一 k) ,再 联系 
到 定理 6. 3.3, 必 有 (ds 一 1) 三 (nm 一 &) ,于 是 就 不 难得 出 定理 6. 3. 4。 
若 某 码 的 最 小 距离 达到 了 可 能 取得 的 最 大 值 , 即 ds 二 (x 一 k 十 1), 则 称 该 (n,k) 线性 
分 组 码 为 极 大 最 小 距离 码 , 缩 写 为 MDC 码 (maximized disdance code)。 显 然 , 当 2,A 确定 
之 后 ,MDC 码 达 到 了 纠 错 能 力 的 极限 ,是 给 定 条 件 下 纠 错 能 力 最 强 的 码 , 自 然 也 是 我 们 设 
计 纠 错 码 时 所 追求 的 目标 。 然 而 在 二 进 制 码 中 ,除了 将 一 位 信息 重复 n 次 的 (n,1) 码 外 不 存 
在 其 他 二 进 制 的 MDC 码 。 但 如 果 是 非 二 进 制 , 则 极 大 最 小 距离 码 是 存在 的 ,如 以 后 将 介绍 
的 RSCReed-Solomon) 码 就 是 MDC 码 。 
至 此 已 从 概念 上 说 明了 码 的 纠 错 能 力 取决 于 码 的 最 小 距离 ,但 还 需 说 明 的 另 一 点 是 码 
的 总 体 纠 错 能 力 不 仅 仅 与 di 有关。 纠 错 能 力 上 只 是 说 明 距离 1 的 差错 一 定 能 纠 ,并 非 说 距 
离 大 于 上 的 差错 一 定 不 能 纠 。 事 实 上 ,如 果 有 2 个 码 字 ,就 存在 2(2 一 1)72 个 距离 ,这 些 
距离 并 不 都 是 相等 的 。 如 图 6-14 中 的 最 小 距离 da 一 3、 纠 错 能 力 :一 1 是 由 码 Cs C, 的 距 
离 决定 的 ,只 要 C: 朝 Ci 方向 偏差 大 于 1 就 会 出 现 译 码 差 错 ; 然而 车 C: 朝 Cs 方向 偏差 3, 译 
码 时 仍 可 正确 地 判断 为 C; 而 非 C;。 可 见 ,总 体 的 ,平均 的 纠 错 能 力 不 但 与 最 小 距离 有 关 , 而 
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且 与 其 余 码 距 或 者 说 与 码 字 的 重量 分 布 特性 有 关 。 把 码 距 ( 码 重 ) 的 分 布 特性 称 为 距离 ( 重 
量 ) 谱 ,其 中 的 最 小 重量 就 是 ds。。 正 如 信息 论 中 各 符号 等 概 时 最 大 一 样 ,从 概念 上 我 们 
可 以 想象 到 : 当 所 有 码 距 相等 时 (重量 谱 为 线 谱 ) , 码 的 性 能 应 该 最 好 ; 或 者 退 一 步 , 当 各 码 
距 相 差 不 大 时 (重量 谱 为 窄 谱 ), 码 的 性 能 应 该 较 好 。 事 实证 明确 是 如 此 ,在 同样 的 dw, 条件 
下 , 窄 谱 的 码 一 般 比 宽 谱 的 码 更 优 。 纠 错 码 重量 谱 的 研究 具有 理论 与 现实 意义 ,不 仅 是 计算 
各 种 译 码 差错 概率 的 主要 依据 ,也 是 研究 码 结构 改善 码 集 内 部 关系 从 而 发 现 新 的 好 码 的 重 
要 工具 。 但 目前 除了 少数 几 类 码 如 汉 明 码 、 极 长 码 等 的 重量 分 布 已 知 外 ,还 有 很 多 码 的 重量 
分 布 并 不 知道 ,距离 分 布 与 性 能 之 间 确 切 的 定量 关系 对 于 大 部 分 码 而 言 尚 在 进一步 研究 之 
中 ,特别 当 w 和 k 较 大 时 ,要 得 出 码 重 分 布 是 非常 困难 的 。 

重量 谱 可 以 用 如 下 的 多 项 式 来 表示 , 称 为 重量 算 子 : 


A(z) 一 Ao 十 Aiz 十 As: zz 十 As 十 … 十 A, xz" SA (6-3-21) 
式 (6-3-21) 的 含义 是 : 在 码 长 n 的 码 集 里 ,包含 重量 为 0 的 码 字 Ao 个 (线性 码 一 定 包 
含 一 个 重量 为 0 的 全 0 码 ) ,重量 为 1 的 码 字 A 个 ,… ,重量 为 的 码 字 A, 个。 
例如 ,(7,4) 汉 明码 的 A(x)==1 十 7z; 十 7x! 十 x? ,系数 集 是 {A;}= 二 {1,0,0,7,7,0,0,1)， 
说 明 在 2 一 16 个 码 字 中 ,除了 一 个 全 0 码 .一 个 全 1 码 外 ,有 7 个 重量 为 3 的 码 字 和 7 个 重 
量 为 4 的 码 字 ,重量 谱 是 窗 谱 。 重 量 算 子 除 常 数 项 (全 0 码 ) 外 最 低 次 非 零 项 的 次 数 就 是 最 
小 距离 dns, 上 述 (7,4) 汉 明码 重量 算 子 中 非 零 最 低 次 项 的 次 数 是 3, 因 此 du 一 3。 


6.3.4 完备 码 


二 元 0,k) 线 性 分 组 码 的 个 码 元 中 ,无 一 差错 的 图 案 有 |[ " | 个 ,一 个 差错 的 图 案 有 


Ct 个 差错 的 加 守 有 |”) 个 。 男 一 方面 ,(n,k) 分 组 码 有 2"“ 个 伴随 式 , 假 如 该 码 的 


纠 错 能 力 是 1, 则 对 于 任何 一 个 重量 小 于 等 于 1 的 差错 图 案 , 都 应 有 一 个 伴随 式 与 之 对 应 , 即 
伴随 式 的 数目 应 满足 条 件 


n n n n fn 
> ja ja + 有 = 加 (6-3-22) 
0 1 2 1 i=o \i 
上 式 称 作 汉 明 限 , 任 何 一 个 纠 t 码 都 应 满足 上 述 条 件 。 
如 果 某 码 能 使 上 式 的 等 号 成 立 , 即 该 码 的 伴随 式 数 目 不 多 不 少 恰好 和 不 大 于 1 个 差错 
的 图 案 数 目 相等 ,相当 于 在 标准 阵列 中 能 将 所 有 重量 不 大 于 1 的 差错 图 案 选 作 陪 集 首 而 没 
有 一 个 陪 集 首 的 重量 大 于 上, 这 时 的 校 验 位 得 到 最 充分 的 利用 。 把 满足 方程 
2 一 [| (6-3-23) 


=o \i 

的 二 元 (n,k) 线 性 分 组 码 称 为 完备 码 (perfect code)。 
从 多 维 矢量 空间 的 角度 来 看 完备 码 ( 参 见 图 6-14) ,假定 我 们 围绕 每 一 个 码 字 C; 放 置 一 
个 半径 为 + 的 球 ,每 个 球 内 包含 了 与 该 码 字 汉 明 距离 小 于 、 等 于 1 的 所 有 收 码 R 的 集合 ,这 


样 在 半径 1 二 int[ (dw 一 1)/2] 球 内 的 接收 码 数 是 网 因为 有 2* 个 可 能 发 送 的 码 字 ,也 
i=0 \1 
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就 有 2* 个 不 相 重合 的 半径 为 1 的 球 。 包 含 在 2 个 球 中 的 码 字 总 数 不 会 超过 2 个 可 能 的 接 
收 码 字 。 于 是 一 个 纠 1 差错 的 码 必然 满足 不 等 式 
2 。 a 2 即 2 之 | 


如 果 满 足 式 (6-3-23) 完备 码 的 条 件 , 表 示 所 有 的 收 码 都 落 在 六 个 球 内 而 没有 一 个 码 是 在 
球 外 ,这 就 是 完备 码 。 完 备 码 具有 下 述 特性 : 围绕 2* 个 码 字 、 汉 明 距 离 为 :一 [Cd 一 1)/2] 的 
所 有 球 都 是 不 相交 的 ,每 一 个 接收 码 字 都 落 在 这 些 球 中 之 一 ,因此 接收 码 离 发 送 码 的 距离 至 多 
为 4, 这 时 所 有 重量 二 1 的 差错 图 案 都 能 用 最 佳 ( 最 小 距离 ) 译 码 器 得 到 纠正 ,而 所 有 重量 之 
1 十 1 的 差错 图 案 都 不 能 纠正 。 完 备 码 并 不 多 见 ,迄今 发 现 的 完备 码 有 1 二 1 的 汉 明 码 ,: 一 3 的 
高 莱 码 ,以 及 长 度 n 为 奇数 、 由 两 个 码 字 组 成 满足 ds 二 的 任何 二 进 制 码 ,还 有 三 进 制 
1 二 3 的 (11,6) 码 。 

1. 汉 明 码 (Hamming Code) 

汉 明 码 是 纠 错 能 力 :==1 的 一 类 码 的 统称 ,二 进 制 汉 明码 和 k 服从 以 下 规律 

(nsk) = (2"—1,2"—1—m) (6-3-25) 

其 中 避 =n 一 k, 当 m= 二 3,4,5,6,7,8,… 时 ,有 (7,4),(15,11),(31,26),(63,57),(127,120)， 
(255,247),… 汉 明码 。 汉 明码 是 完备 码 , 因 为 它 满足 式 (6-3-23) 。 


Le 
2 .|=1+z=1 二 (02 一 1D) 一 2" 一 20 


72 
| (6-3-24) 


i=0 \1 

汉 明 码 的 校 验 矩阵 互 具有 特殊 的 性 质 , 使 我 们 能 以 相对 简单 的 方法 来 构建 该 码 。 我 们 
还 记得 ,一 个 (n,k) 码 的 校 验算 了 泗 有 nn 一 k 行 和 nn 列 ,二 进 制 时 一 k 个 码 元 所 能 组 成 的 列 矢 
量 总 数 (全 零 矢 量 除 外 ) 是 2 一 一 1, 恰 好 和 校 验 矩 阵 的 列 数 n= 二 2" 一 1 相等 。 只 要 排列 所 有 
列 , 通 过 列 置换 将 矩阵 HH 转换 成 系统 形式 ,就 可 以 进一步 得 到 相应 的 生成 矩阵 G。 

例 6-4 构造 一 个 mm 二 3 的 二 元 (7,4) 汉 明码 。 

解 : 所 谓 构 造就 是 求 一 个 (7,4) 汉 明码 的 生成 矩阵 ,可 先 利用 汉 明 码 的 特性 构造 一 个 校 
验 矩 阵 瓦 ,再 通过 列 置换 将 它 变 为 系统 形式 ， 


0001111 1110:100 
H=|0110011|=>|0111:010|= [Pr | 1] 

1010101 1101i001 

由 式 (6-3-5)、 式 (6-3-9) ,得 生成 矩阵 G 为 

1000:101 

, 0100:111 

= 区 一 |aoiolin 

0001011 


由 于 生成 矩阵 G 中 包含 了 单位 阵 I ,矩阵 的 秩 是 4, 所 以 矩阵 G 的 4 行 是 4 个 线性 无 关 的 基 
底 ,可 以 张 成 一 个 包含 24 王 16 码 字 的 码 空间 。 

国 

必须 指出 ,完备 码 是 标准 阵列 最 规则 因而 译 码 最 简单 的 码 , 但 并 不 一 定 是 纠 错 能 力 最 强 

的 码 。 完 备 码 强 调 了 n、k、t 的 关系 ,保证 di 至 少 等 于 3( 即 1 二 1), 但 并 未 强调 do 最 大 化 

即 达 到 极 大 最 小 距离 码 MDC 4d 二 n 一 k 十 1 的 程度 。 例 如 滩 二 6 时 的 (63.57) 汉 明码 ,dam 
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最 大 可 达 7, 纠 错 能 力 1 可 达 3, 然 而 所 有 汉 明 码 的 设计 纠 错 能 力 仅 为 :一 1。 

(nsk&) 汉 明码 码 字 的 重量 分 布 规律 已 被 揭示 ,可 用 一 个 称 为 重量 估 值 算式 (weight 
enumerating polynomial) 的 = 的 多 项 式 来 表达 ,x 项 的 系数 A; 表 示 重 量 为 i 的 码 字 的 数 
目 , 即 


A(z) = > Ai 一 二 id 十 z" 十 ma(1 十 z)erD2(1 一 z)otp2] (6-3-26) 
i=0 


将 等 式 右 边 展 开 即 可 得 到 A; 值 。 

二 进 制 汉 明 码 的 概念 也 可 扩展 到 多 进 制 ,推出 GF(g) 域 上 的 汉 明 码 。 在 g 进 制 中 ,一 个 
码 元 上 的 差错 位 置 就 可 以 有 (g 一 1) 种 ,个 码 元 上 的 差错 位 置 有 7 (dg 一 1) 种 。 而 (2 一 A) 个 校 
验 位 可 以 表达 gq"“ 个 不 同 的 意思 ,由 汉 明 码 定 义 , 它 应 该 恰好 等 于 所 有 的 单个 差错 图 案 加 上 
1( 无 差错 ), 即 gr 二 n(g 一 1) 十 1。 令 n 一 k= 二 m, 则 gq 进 制 汉 明码 的 nk 应 服从 n= 二 (gq”" 一 
1)/(g—1) 及 k=(g"—1)/(g—1)—m。 

2. 高 莱 (Golay) 码 

高 莱 码 是 二 进 制 (23,12) 线 性 码 , 其 最 小 距离 dm 一 7, 纠 错 能 力 1 二 3。 由 于 满足 
23 
2 
添加 一 位 奇偶 位 即 得 二 进 制 线性 (24,12) 扩 展 高 莱 码 ,其 最 小 距离 di 二 8。 


6.3.5 循环 码 


循环 码 是 线性 分 组 码 的 一 个 子 类 , 它 满足 下 列 循环 移 位 特性 : 码 集 C 中 任何 一 个 码 字 
的 循环 移 位 仍 是 码 字 。 一 般 (n,k) 线 性 分 组 码 的 个 基底 之 间 不 存在 规则 的 联系 ,因此 需 用 
k 个 基底 组 成 生成 矩阵 来 产生 一 个 码 。 对 于 循环 码 ,既然 码 字 的 循环 仍 是 码 字 ,而 基底 也 是 
码 字 ,那么 基底 的 循环 也 可 是 基底 。 事 实 确 是 如 此 , 张 成 循环 码 空间 的 & 个 基底 是 由 同一 个 
基底 循环 k 次 得 到 的 ,因此 用 一 个 生成 多 项 式 对 应 一 个 基底 就 足以 表达 码 的 结构 ,无 需 借助 
生成 矩阵 。 
任 一 码 字 C=[c,_1;c-s，… ,a ,co] 都 可 与 一 个 不 大 于 "一 1 次 的 码 多 项 式 C(x) 对 应 
起 来 。 码 多 项 式 CCz) 定 义 为 
CCzr) 一 ceizo 十 cz 十 … 十 ciz 十 co (6-3-27) 
对 于 二 进 制 码 ,cE {0,1},i=0,1,…,n 一 1。 
根据 循环 码 的 定义 , 码 字 的 循环 移 位 可 表示 为 
循环 移 一 位 


式 (5-4-29) 即 2 =208=1+ (1 )+( ] [人 四 此 它 也 是 完备 ， 在 (23,12) 码 上 


(Ca—2 °° 9C1 C0 9Ca—1) (6-3-28) 


(Cal oCa-2 °° C1 9C0) 
与 之 对 应 的 多 项 式 的 变化 为 
GG) 一 cz 十 co 十 … 十 az 十 a CG) 一 ca 十 ca 十 … 十 az 十 ca 
比较 循环 移 位 的 前 后 ,可 用 如 下 的 多 项 式 运 算 来 表达 循环 移 位 
移 1 位 : C(x) = rzCo(zx) mod(z" 十 1) 
移 2 位 : C(x) = zrCi(x) = Co (2) mod(zx" 十 1) 


循环 移 一 位 


(6-3-29) 


移 n 一 1 位: Ci(x) = 二 xC,_s(x) 一 了 ICo(z) mod(Cz 十 1) 
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码 字 Co (xz) 在 循环 移 位 n 次 后 又 回 到 Co (lz) 原 位 。 

码 集 包含 2 个 码 字 ,而 一 个 码 字 的 移 位 最 多 能 得 到 n 个 码 字 ,因此 “循环 码 码 字 的 循环 
仍 是 码 字 ”并 不 意味 着 循环 码 集 可 以 从 一 个 码 字 循环 而 得 。 换 一 个 角度 看 ,循环 码 是 线性 分 
组 码 的 一 种 ,也 满足 码 空 间 的 封闭 性 , 即 码 字 的 线性 组 合 仍 是 码 字 。 我 们 对 式 (6-3-29) 中 
各 码 作 线性 组 合 ,结果 仍 是 码 字 

C= mG (rt arzCor) ar Cz) 十 ai Co(z) 
一 (ao 十 aiz 十 azz2 十 … 十 as-ize 1)Co(Zz) 
一 A(Cz)Co(Cz)mod(Czs 十 1) (6-3-30) 
其 中 Co(z) 是 一 个 码 多 项 式 , 而 A(z) 是 次 数 不 大 于 nn 一 1 的 任意 多 项 式 ,a;€1{0,1} ,i 二 0,…,n 一 1。 
作为 特殊 情况 , 若 选择 Co(x) 是 (n 一 k) 次 码 多 项 式 ,A(z) 是 (4k 一 1) 次 任意 信息 多 项 式 (4 个 
系数 对 应 & 个 信息 元 ) ,那么 在 Co(z) 不 变 情况 下 A(z) 系 数 的 2 种 组 合 恰好 能 产生 2 个 码 
字 , 此 时 的 Cu(Cz) 起 了 生成 多 项 式 的 作用 , 且 Cu(z) 是 CCz) 的 因 式 。 

问题 是 ,这 样 产生 的 2: 个 码 字 是 否 能 构成 循环 码 码 集 ? (2 一 A) 次 码 多 项 式 是 否 存在 、 
如 何 寻 找 ? 完整 的 数学 解释 需要 近世 代数 理论 ,这 里 只 想 引用 一 些 结论 , 那 就 是 二 元 域 上 次 
数 小 于 的 多 项 式 在 模 2 加 、 模 (zx" 十 1) 乘 法 运算 下 构成 了 一 个 交换 环 ,从 多 项 式 环 的 性 质 
出 发 ,又 有 下 列 结论 (证 明 略 ) 。 

(1) (n,&) 循 环 码 的 码 多 项 式 是 模 (x" 十 1) 乘 运算 下 多 项 式 交 换 环 的 一 个 主 理想 子 环 ， 
反之 ,多 项 式 交换 环 的 一 个 主 理想 子 环 一 定 可 以 产生 一 个 循环 码 。 主 理想 子 环 中 的 所 有 码 
多 项 式 都 可 以 由 其 中 一 个 元 素 ( 码 多 项 式 ) 的 倍 式 组 成 ,这 个 元 素 称 为 该 主 理想 子 环 的 生成 
元 ,或 对 应 循环 码 的 生成 多 项 式 。 生 成 多 项 式 不 是 唯一 的 ,但 总 有 一 个 是 次 数 最 低 的 。 

(2) (4,k) 循 环 码 中 ,存在 着 唯一 的 一 个 次 数 最 低 即 (x 一 &) 次 的 首 一 码 多 项 式 g(x), 即 

8(2) = 二 gaz 十 Baw 十 giz 十 1 (6-3-31) 
使 得 所 有 码 多 项 式 都 是 g(z) 的 倍 式 即 C(z)= 二 m(z)g(z), 且 所 有 小 于 次 的 g(x) 的 倍 式 
都 是 码 多 项 式 。 这 里 所 说 的 首 一 , 指 多 项 式 最 高 次 项 的 系数 为 "1”。 

(3) (2,) 循 环 码 的 生成 多 项 式 g(x) 一 定 是 (zx" 十 1) 的 因子 , 即 gCz) | (zx" 十 1) ,这 里 的 
“| ”表示 “整除 ”, 或 写成 (z" 十 1) 二 g(xz)h(z)。 相 反 , 如 果 g(z) 是 (xz" 十 ]) 的 (x 一 有 次 因子 ， 
则 g(x) 一定 是 (n,k) 循 环 码 的 生成 多 项 式 。 

以 上 面 三 个 结论 为 基础 ,可 以 找到 构造 (>,A) 循 环 码 的 步骤 ， 

(1) 对 (zx" 十 1) 作 因 式 分 解 , 找 出 其 (n 一 k) 次 因 式 。 

(2) 以 (n 一 k) 次 因 式 为 生成 多 项 式 g(x) ,与 信息 多 项 式 m(z) 相 乘 , 即 得 码 多 项 式 

CCz) = m(zr)g(r) (6-3-32) 

因 m(z) 不 高 于 (4 一 1) 次 ,C(x) 的 次 数 不 会 高 于 (k 一 1]) 十 (n 一 k&) 二 (n 一 1) 次 。 

可 以 这 样 来 验证 所 得 码 的 循环 性 : 令 Ci1(z) 二 x C(z)= 二 zm(zx)g(x)mod(x" 十 1), 由 于 
g(z) 本 身 也 是 码 多 项 式 ( 次 数 最 低 ) ,而 zm(z) 是 不 高 于 & 次 的 多 项 式 , 由 式 (6-3-30)， 
Ci(z) 一 定 是 码 字 , 即 码 字 的 循环 也 是 码 字 ,所 以 确实 是 循环 码 。 

例 6-5 研究 构造 一 个 长 度 n==7 的 循环 码 的 方法 。 

解 : 

(1) 对 (xz? 十 1) 作 因 式 分 解 ,得 xz' 十 1 二 (zx 十 1) (zs 十 z2 十 1)(zs 十 z 十 1), 因 此 (z? 十 1) 
有 如 下 因 式 : 
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1 次 因 式 1 种 : (z 十 1) 

3 次 因 式 2 种 : (zx 十 zx? 十 1) 或 (zs 十 z 十 1) 

4 次 因 式 2 种 : (z 十 1)(zs 十 z2 十 1) 一 刀 十 z2 十 z 十 1 或 (zx 十 1 (x 十 x 十 1) 二 x 十 
好 十 让 十 1 

6 次 因 式 1 种 : (zs 十 z2 十 1)(zs 十 z 十 1) 一 z 十 z5 十 xz 十 zs 十 z2 十 z 十 1 

(2) 车 以 (z' 十 1) 的 某 (n 一 &) 次 因 式 作为 (n,k) 循 环 码 生成 多 项 式 , 本 题 可 供 选 取 的 因 
式 次 数 有 1、3、4、6 次 。 在 nn 二 7 的 情况 下 , 若 选 mn 一 k 二 1 的 因 式 ,从 上 面 因 式 分 解 看 只 有 
(zx 十 1) 一 种 ,可 生成 (7,6) 循 环 码 。 若 选 n 一 k 二 3, 可 表 6-5 7,3) 循 环 码 码 集 
取 (z 十 十 1) 或 (xz? 十 zx 十 1) 之 一 ,生成 (7,4) 循 环 信息 矢量 码 秋 
码 。 以 此 类 推 ,还 可 产生 (7,3),(7,1) 循环 码 , 但 不 存 m(m2 m1 mo) (cecscacac2c1co) 


在 (7,5),(7,2) 循环 码 。 000 0000000 

例如 要 构成 (7,3) 循 环 码 , (n 一 &) = 二 4 的 因 式 有 001 0011101 
(z 十 1D)Czs 十 z 十 1) 或 (zx 十 D(z 十 x2 十 1) 两 个 , 任 选 Pe 人 
其 中 一 个 作 生成 多 项 式 都 可 以 产生 一 个 循环 码 集 。 候 nn 
如 选 g(z) 王 (z 十 1)(zs 十 z 十 1) 王 (zt4 十 zs 十 zz 十 1) 101 ji00T 
为 生成 多 项 式 , 则 码 多 项 式 为 C(z) 二 m(zx)g(z) 二 110 1001110 
(mz 十 mz 十 mo) (zt 十 十 x? 十 1)。 当 输入 信息 111 1010011 


力 一 (011) 时 ,mm(z) 一 (z 十 1),CCz) 一 (z 十 1) (zx 十 
23 十 zz 十 1) 一 z5 十 zz 十 zl 十 1 对 应 码 矢 C= 二 (0100111)。 依 次 将 输入 信息 m 二 (000),…， 
(111) 代 入 ,可 得 全 部 码 矢 如 表 6-5 所 示 。 观 察 全 部 码 矢 ,可知 最 低 次 的 首 一 码 多 项 式 确 是 
唯一 的 ,对 应 码 矢 (0011101) ,次 数 (n 一 k) 二 4, 正 是 该 码 生 成 多 项 式 g(x), 码 集 符合 循环 码 
规则 ,是 由 7 个 码 矢 构成 的 一 个 循环 环 加 上 全 零 码 矢 组 成 的 。 
国 
多 项 式 x" 十 1 因 式 分 解 取出 g(x) 后 , 剩 下 的 因 式 可 组 合 为 h(x)， 
z"+1= [Lfi(x) = g(a)h(z) (6-3-33) 


车 g(z) 是 循环 码 的 生成 多 项 式 ,那么 h(xz) 就 是 循环 码 的 校 验 多 项 式 ,这 是 因为 任何 码 多 项 
式 C(z) 与 h(x) 作 模 (zx" 十 1) 运 算 后 都 为 零 ,而 非 码 字 与 h(x) 的 乘积 必 不 为 0。 
CCTh(zT)= m(r)g (Th(r) 
二 m(z)(z" 十 1) = 二 0 mod(zx" 十 1) (6-3-34) 
例如 例 6-5 中 z 十 1=(z 十 1)(zs 十 z2 十 1)(zs 十 z 十 1) ,车 取 g(x)==(x? 十 zx? 十 1), 则 
有 由 (z) 一 (z 十 1)(zs 十 z 十 1); 车 取 g(x)= 二 (x 十 D(x 十 x 十 1), 则 有 h(x)==(x? 十 zx? 十 1)。 
循环 码 生 成 多 项 式 未 必 是 不 能 再 继续 分 解 的 最 小 多 项 式 ,g(z) 和 A(z) 的 地 位 是 对 等 的 : 若 
g(x) 是 (n.) 循 环 码 的 生成 多 项 式 ,h(z) 就 是 该 循环 码 的 校 验 多 项 式 ; 车 h(x) 是 (n,n 一 k) 
循环 码 的 生成 多 项 式 , 则 g(z) 就 是 该 码 的 校 验 多 项 式 ,g (xz) 和 h(xz) 最 高 次 项 宪 次 之 和 一 定 
是 码 长 n。 称 g(xz) 生 成 的 (x,&) 循 环 码 和 有 h(x) 生成 的 (n,n 一 有) 循环 码 互 为 对 偶 码 , 码 空 间 
互 为 对 偶 空间 ,或 称 零 空间 Cnull space) 。 
从 表 6-5 看 到 ,所 得 循环 码 并 非 系 统 码 。 如 果 希 望 循环 码 又 是 系统 的 , 称 为 系统 循环 
码 , 那 就 要 求 码 字 的 前 位 原封 不 动 照搬 信息 位 而 后 面 (n 一 &) 位 为 校 验 位 ,也 就 是 说 希望 码 
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多 项 式 具 有 如 下 形式 : 
Cl(z) = ma(z) 十 Fr(z) (6=3-35) 
这 里 ,r(x) 是 与 码 字 中 (n 一 &) 个 校 验 元 相对 应 的 (n 一 k 一 1) 次 多 项 式 。 对 等 式 两 边 取 模 
g(X) ,左边 C(z)mod g(x) 二 m(zx) g(x)mod g(x) 二 0, 因 此 必 有 右边 也 等 于 0: 
[zm(z) +r(r)] mod g(r) = xz" im(zr)mod g(r)+r(r)mod g(x)=0 
其 中 r(z) 寡 次 低 于 g (x),r(z)mod g (zx) 二 r(xz), 和 欲 使 右边 为 0, 即 出 现 二 元 域 r(zx) 十 
r(x) 二 0, 必 须 
Xx" tm(r)mod g(x) =r(z) (6-3-36) 

于 是 获得 了 一 个 产生 系统 循环 码 的 方法 ,具体 步骤 为 : 

a 将 信息 多 项 式 mm(z) 预 乘 z"*, 即 右 移 (一 位 。 

@ 将 二 -4z(z) 除 以 g(Cz), 得 余 式 rCz)。 

@ 得 系统 循环 码 的 码 多 项 式 : C(x) 二 x" mm(z) 十 r(x)。 

例 6-6 (7,3) 循 环 码 生成 多 项 式 是 g(x) 二 x 十 十 zx 十 1, 用 式 (6-3-35) 产 生 系统 循 
环 码 。 

解 : 先 以 输入 信息 m 二 (011) 即 m(z) 二 (xz 十 1) 为 例 ， 

OD rm(r)=r (rt+1)=7x rt。 

@ (zs 十 xz) 除 以 (zx! 十 zx’ 十 z? 十 1) ,得 余 式 (zx? 十 x) 。 

@ C(z)=z" hm(z)+r(z)= (7 二 x) 二 (zx 十 x) ,对 应 码 矢 (0111010) 。 

依次 将 (000)…(111) 代 入 ,可 得 全 部 码 矢 如 表 6-6 所 示 。 此 表 与 表 6-5 对 比 ,可 见 码 集 
未 变 而 映射 规则 变 了 , 表 6-6 满足 系统 循环 码 要 求 。 


循环 码 编码 可 以 根据 式 (6-3-32) 用 乘法 电路 实 表 6-6 (7,3) 系 统 循环 码 
现 ,也 可 根据 式 (6-3-35) 用 除法 电路 实现 , 乘 、 除 法 电 ET 
路 的 复杂 度 是 同等 的 。 除 法 电路 由 一 组 带 反 馈 的 移 存 cm, mm mo) | coscacaay 
器 构成 ,图 6-15 是 本 例 系统 循环 码 的 编码 电路 .对 000 0000000 
g(Cz) 一 心 十 习 十 妇 十 1 的 除法 体现 在 移 存 器 的 反馈 001 0011101 
上 ,对 应 g(z) 系 数 为 “1" 的 项 ,有 一 根 反 馈线 接 到 移 存 0 但 0 二 
器 对 应 位 置 ,从 左 到 右 分 别 对 应 1.z、z?、z? 和 zx!; 系 加 et 
数 为 *0” 的 项 ,例如 g(z) 一 次 项 z 的 系数 ,就 不 接 反馈 ii 1 
线 。 正 常 做 除法 时 ,消息 mw(z) 应 从 除法 器 的 最 左 端 110 od 
(对 应 g(z) 常 数 项 1) 进 入 。 如 消息 mx(z) 右 移 一 位 ， 111 1110100 


则 应 从 g(z) 一 次 项 z 的 位 置 进 入 ,相当 于 作 工 mmz(z) 

运算 后 再 去 做 除法 。 本 题 m(z) 从 zx" 二 x! 的 位 置 进入 ,相当 于 作 ztm(zx) 运 算 后 再 去 除 以 

g(X)。 每 编 一 个 码 需 化 n=7 拍 ( 时 钟 周期 )。 前 4 拍 时 开关 ki 、k 在 位 置 1,3 个 信息 元 先 
1 


医 局 i 和 pe? 
D D 2 输出 
ek 


(momis ma ) 1 
6-15 用 除法 器 实现 (7,3) 循 环 码 编码 器 


加 
已 
已 
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mz 再 mi mo 依次 输入 除法 器 做 xz*m(z)/g(zx) 运 算 , 同 时 作为 码 元 输出 。 到 第 3 拍 完成 时 ， 
除法 器 移 存 器 里 的 数据 就 是 余 式 系数 。 后 4 拍 停止 信息 元 输入 ,开关 、ks 倒 向 位 置 2, 移 
存 器 断 开 反馈 线 后 不 再 起 除法 器 而 仅 起 一 般 移 存 器 作用 ,其 中 的 数据 分 4 拍 依次 移出 ,作为 
循环 码 第 4 到 第 7 校 验 位 码 元 。 

循环 码 将 生成 矩阵 简化 为 生成 多 项 式 , 从 而 将 与 编码 矩阵 对 应 的 硬件 阵列 (平面 型 ) 简 
化 为 带 反 馈 的 移 存 器 (直线 型 )。 针 对 循环 码 的 特点 ,在 译 码 上 也 出 现 了 许多 有 效 的 算法 , 例 
如 捕 错 译 码 、 大 数 逻 辑 译 码 等 ,限于 篇 幅 , 这 里 不 再 讨论 译 码 问 题 。 

一 种 纠 错 码 可 以 兼 有 许多 特点 ,循环 特征 仅 是 其 中 之 一 。 前 面 讲 到 过 的 汉 明 码 也 可 以 
兼 有 循环 特征 ,这 类 码 就 叫 作 循环 汉 明 码 , 其 分 组 长 度 是 n= 二 2" 一 1, 校 验 位 是 n 一 k==m, 而 
任何 码 字 的 循环 依然 是 码 字 。 同 样 , 兼 有 循环 特征 的 高 莱 码 叫 作 循环 高 莱 码 ,如 用 生成 多 项 
趟 g(x) 二 zi 十 Zz? 十 XY? 十 x 十 x 十 zx 十 1 产生 的 线性 (23,12) 高 莱 码 就 是 循环 高 菜 码 。 当 前 
实用 的 线性 分 组 码 几 乎 都 是 循环 码 , 如 用 作 帧 或 分 组 校 验 的 循环 兄 余 校 验 码 (CRC)。 在 循 
环 码 基 础 上 发 展 起 来 的 BCH 码 、RS 码 法 尔 码 等 , 除 循环 特性 外 又 兼 有 另外 一 些 特点 ,在 
无 线 信道 与 计算 机 存储 系统 中 得 到 最 广泛 的 应 用 。 


6.4 卷 积 码 


分 组 码 以 孤立 码 块 为 单位 编译 码 ,从 信息 论 的 角度 ,信息 流 割裂 为 孤立 块 后 丧失 了 分 组 
间 的 相关 信息 ,信息 流 切 割 得 越 碎 ( 码 字 越 短 ) ,丧失 的 信息 必然 越 多 。 从 另 一 角度 ,编码 定 
理 已 指出 分 组 码 长 n 越 大 越 好 ,但 译 码 运 算 量 随 n 指数 上 升 的 事实 又 限制 了 的 进一步 增 
大 。 于 是 想到 ,在 码 长 有 限时 ,能 否 将 有 限 个 分 组 间 前 后 相关 信息 添加 到 码 字 里 ,从 而 等 
效 地 增加 码 长 ? 译 码 时 能 否 利用 前 面 已 译 码 及 前 后 相关 性 作为 更 正确 译 码 的 参考 ? 这 些 想 
法 导致 了 由 埃 利 斯 (Elias,1955) 最 早 提出 的 卷 积 码 的 产生 。 


6.4.1 卷 积 码 的 基本 概念 和 描述 方法 


卷 积 码 是 一 个 有 限 记忆 系统 , 它 与 分 组 码 类 似 , 也 是 先 将 信息 序列 分 割 成 长 度 & 的 一 个 
个 分 组 ,不 同 的 是 某 一 时 刻 的 编码 输出 不 仅 取决 于 本 时 刻 的 分 组 ,而 且 取 决 于 本 时 刻 以 前 的 
工 个 分 组 。 称 工 十 1 为 约束 长 度 , 并 把 卷 积 码 写 成 (2,&, 工 ) 形 式 以 突出 卷 积 码 最 重要 的 3 个 
参数 。 卷 积 码 原理 示意 如 图 6-16(a) 所 示 ,(z,&, 工 ) 卷 积 编码 器 的 一 般 结 构 如 图 6-16(b) 
所 示 。 

由 图 6-16 可 知 , 卷 积 码 将 信息 序列 串 / 并 变换 后 存 和 人 由 个 工 十 1 级 移 存 器 构成 的 &X 
(LL 十 1) 阵 列 中 ,其 中 最 左 列 存放 当前 输入 的 信息 组 ,后 面 各 列 分 别 是 前 1、 前 2、…、 前 工时 
刻 的 输入 。 按 一 定 规则 对 阵列 中 的 数据 进行 线性 组 合 , 编 出 当前 时 刻 的 各 码 元 cj 一 0,…， 
2 一 1, 最 后 并 / 串 变换 合成 当前 码 字 后 输出 。 

图 6-16(b) 记 忆 阵 列 中 的 每 一 存储 单元 都 有 一 条 连 线 将 数据 送 到 线性 组 合 器 ,但 实际 
上 是 否 需 要 连 线 取决 于 线性 组 合 的 系数 。 二 进 码 线性 组 合 的 系数 只 能 是 %0” 或 “1”, 系 数 为 
“1” 表 示 该 位 参与 线性 组 合 , 系 数 为 “0” 则 表示 该 项 在 线性 组 合 中 不 起 作用 ,对 应 存储 单元 就 
不 需要 像 系数 为 “1” 时 那样 有 连 线 接 到 线性 组 合 器 。 每 一 个 码 元 都 需要 有 kX(L 十 1) 个 系 
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第 ;分 组 第 六 1 分 组 第 并 2 分 组 … 第 区分 组 


y ~ | fa 


T 
二 


1 -2 2 De i 
mai | 二 mB | mot | mre | mt 


— {mf [Te 


卷 积 编码 器 (线性 组 合 器 ) | 
[一 [编码 输出 C， 


rm i 
oo [a | ca Cm 


(a) 卷 积 编码 示意 


7 [mr mi | [mi oo 
LE 
cf | 并 
3 | “=| 7 
信号 入 mi mr mr | or -| 从 让 | 编码 输出 C 
CC 组 | : 
= 变 
一 合 | 
器 | cf 
[mm 一 | 换 
cm- 
| 


(b) 卷 积 编码 器 的 一 般 结构 


图 6-16 


数 来 描述 组 合 规则 ,而 一 个 码 字 及 个 码 元 ,所 以 需要 kXnX(L 十 1) 个 系数 来 描述 卷 积 码 。 
如 何以 简练 明白 的 形式 表达 这 些 系 数 是 值得 研究 的 : 如 果 采 用 一 维 排列 ,将 面 对 长 度 kXn 
X(L 十 1) 的 数据 串 ; 如 果 采 用 二 维 k&Xn 和 矩阵, 这样 的 矩阵 应 有 ( 工 十 1) 个 ,分 别 代 表 ( 工 十 1) 
个 时 刻 , 而 时 刻 实际 是 第 三 维 ; 如 果 想 仅 用 一 个 矩阵 表示 全 部 线性 组 合 关系 ,显然 必须 将 第 
三 维 时 间 参 数 抒 进 二 维 &Xn 算 阵 之 中 。 下 面 通过 一 个 具体 例子 来 说 明 卷 积 码 的 表达 方法 。 

例 6-7 某 二 进 制 (3,2,1) 卷 积 编码 器 如 图 6-17 所 示 。 若 本 时 刻 (i=0) 的 输入 信息 
比特 组 是 m= 二 Gm ,mi) 二 (01), 上 一 时 刻 ( 用 正 整数 1 表示 时 延 1) 的 输入 是 mi = (mi， 
ni) 一 (10) ,试用 矩阵 表示 该 编码 器 ,并 计算 输出 码 字 Ci。 


他 AAA 
m 


一 


Cc’ 
编码 输出 


图 6-17 二 进 制 (3,2,1) 卷 积 编码 器 


解 : 本 题 编码 器 记忆 阵列 为 ==2 行 L 十 1 二 2 列 、 编 码 输 出 zx 一 3 个 码 元 。 用 g% 表 示 
记忆 阵列 第 p 行 (p= 二 0,1) 第 41 列 (1==0,1) 对 第 gq 个 (g==0,1,2) 码 元 的 影响 。 令 参与 组 合 
(有 连 线 接 到 模 2 加 法 器 ) 者 的 系数 gj 二 1, 否 则 g% 二 0。 由 图 中 的 接线 可 以 得 到 nnXkX 
(L 二 1) 一 3X2X2 个 系数 , 即 

gg 一 1，gio 一 1， gu=0, ghy=l, gh =1, gh=l1 


gh =0, gh =1, gh=1, gh=0, gh=1, ge=0 
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由 题 意 ,存储 矩阵 内 容 按 列 计 是 本 时 刻 输 入 mm 二 Cm8 ,mi) 二 (01) 与 上 时 刻 输入 mm? 二 (m3， 


i i 
品 ) 二 (10), 用 行 n 列 (2X3) 系 数 征 隆 G 一 | 全 ee |=[ |&e= 
gl gh gl2 0 1 1 


nm a |- . | 分 别 描 六 本 时 刻 和 上 时 齐 的 输入 对 编码 输出 的 影响, 从 而 得 
出 本 时 刻 编码 输出 是 : 


TO00 

= 一 (011) 十 (111) = (100) 国 解 毕 

上 例 中 ,系数 矩阵 C" .G: 的 设 定 具有 一 般 性 。 对 于 一 个 (x,k, 工 ) 卷 积 码 ,以 时 刻 i 为 基 

准 , 把 i 之 前 的 第 /个 信息 组 m= 二 Gm 和 m7 和,… mi) 对 时 刻 i 的 输出 码 字 Ci’ 的 影响 用 一 
个 kXn 生成 子 矩 阵 G' 来 表示 : 


1 Yili 
C= = me tmo 一 on i an | | 


1 1 1 

Bo B01 ee B01) 
1 1 1 

8lo B11 和 B11) 


(6-4-1) 


Bl-Do Pr Ea BDorD 
矩阵 元 素 g% 表示 图 6-16(b) 记 忆 阵 列 第 p 输 入行 (p= 二 0,1,…,k 一 1) 第 1 时 延 列 (1 二 0,1， 
…, 工 ) 对 第 g 个 (g==0,1,…,n 一 1) 输 出 码 元 的 影响 ,gb, € (0,1)。 
设 编码 器 的 初始 状态 为 零 ( 记 忆 阵 列 全 体 清 0), 随 着 时 刻 i 的 递 推 和 k 比特 信息 组 
(mao om …) 源 源 不 断 地 输入 , 码 字 (C ,CC ,Cr ,…) 源 源 输 出 。 
在 时 刻 一 0 时 C?" 一 moG" 
i 三 1 时 C=m!G° +m’G! 


i==L 时 C'=m’G’ +m’™ G+ 二 +m Gr’ 
i=L 十 1 时 C=mr11G@ 十 m'G! 十 … 十 m1G' 


或 等 效 地 写成 如 下 半 ( 单 边 ) 无 限 矩阵 的 形式 
C= (CC C.) 一 mG- 
GG GG … G 0 
0 CI GG … GCG 
一 (mao m! 7122) (6-4-2) 
0 0 G G … Gr 0 
0 0 0 
定义 G- 为 卷 积 码 的 生成 矩阵 , 它 是 半 无 限 的 ,因为 输入 的 信息 序列 本 身 是 半 无 限 的 。 于 是 
任何 时 刻 ;的 输出 码 字 可 用 如 下 数学 式 表 示 


L 
C= mG! (6-4-3) 
3 


上 式 可 视 作 无 限 长 矩阵 序列 严 与 有 限 长 矩阵 序列 G' 的 卷 积 运算 到 * G', 这 就 是 卷 积 码 名 
称 的 来 历 。 
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( 工 十 了 DD 个子 和 矩阵 G' 实 质 上 是 G 在 时 间 轴 上 的 展开 ,前 后 两 个 子 矩 阵 G' 和 G+! 在 同一 

位 置 上 的 两 系数 g 和 g 分 ! 分 别 表 示 了 在 前 后 两 时 刻 ! 和 i 十 1 时 第 p 输入 行 对 第 g 输出 码 

元 的 影响 ,两 时 刻 的 时 间 差 为 一 个 时 延 D, 完 全 可 以 用 多 项 式 go D' 十 g%'D! 的 形式 来 表 

达 。 顺 着 这 样 的 思路 ,可 以 用 DD 的 多 项 式 代替 时 间 轴 ,而 把 ( 工 十 了) 个 子 和 矩阵 G' 合 并 成 一 个 
矩阵 , 即 令 

G(CD)=G 十 GID 十 … 十 GD 
goo(CD) go (D) “» goo-D (D) 
g10(D) gu(D) soe gliorD (D) 


(6-4-4) 
grbo(CD) gu-vi(D) … gu-vov (D) 
G(D) 的 每 一 个 元 素 都 是 多 项 式 , 通 式 是 
了 
&m(D) = g% + ghD + ghD’ + + ghD’ = >) ghD’ (6-4-5) 
1=0 


Qn,) 卷 积 编码 器 可 以 类 比 于 一 个 有 & 个 输入 nn 个 输出 的 多 端口 网 络 ,kXn 多 项 式 矩 
阵 G(D) 的 第 p 行 第 g 列 元 素 gpm(D) 描 述 了 第 p 行 输入 对 第 g 个 输出 码 元 的 影响 ,类 似 于 
多 端口 网 络 第 p 输入 端 对 第 g 输出 端的 影响 , 称 为 转移 函数 。 借 助 网 络 分 析 或 信号 流 图 中 
的 这 个 概念 ,通常 把 GCD) 定 义 为 转移 函数 矩阵 。 
一 旦 卷 积 编码 器 电路 图 给 定 ,转移 函数 和 矩阵 G(D) 也 就 确定 了 ,例如 例 6-7 中 的 GCD) = 
iD DBD. 1 人 DD 
| BD ,了 1 
下 面 例子 。 
例 6-8 某 二 元 (3,1,2) 卷 积 码 的 转移 函数 矩阵 G(D) 二 (1,1 十 D,1 十 D 十 习 ), 试 画 出 
编码 器 结构 图 。 
解 : 根据 转移 函数 矩阵 ， 
go(D) = gh + gh D+ ghoD’ = 1 
go (D) = go +ghD++ gD? 一 1 十 D 
go(D) = gh ghD+ gD’ = 1+D+D’ 
得 gl =1,gh = 0,g4 =0 


| 反之 ,转移 函数 矩阵 GCD) 给 定 , 卷 积 编码 器 的 结构 也 就 给 定 了 ,请 看 


£01 = 1,gd = 1,g8 Es 

go2 5 1,gd 1,g32 一 1 
编码 器 应 有 一 行 (& 二 1)、3 列 (L 十 1 二 3) 的 记忆 阵列 ,记忆 阵列 在 线性 组 合 中 的 作用 由 系数 
规定 ,而 系数 来 自转 移 函 数 矩 阵 中 各 转移 函数 的 各 次 宪 系 数 ,根据 系数 可 夯 出 卷 积 编码 器 结 
构 如 图 6-18 所 示 。 


6-18 二 元 (3,1,2) 卷 积 编码 器 
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以 上 转移 函数 矩阵 GCD) 的 描述 方法 将 矩阵 多项式 与 编码 器 结构 的 关系 揭示 得 清 清 
楚楚 ,但 并 没 能 揭示 卷 积 码 的 内 在 特性 。 在 这 点 上 ,状态 图 和 网 格 图 提供 了 很 好 的 描述 
工具 。 

从 图 6-16(b) 看 到 , 卷 积 编码 器 在 i 时 刻 编 出 的 码 字 不 仅 取决 于 本 时 刻 的 输入 信息 组 
m' ,而 且 取 决 于 i 之 前 存 人 记忆 阵列 的 L 个 信息 组 ,换言之 取决 于 记忆 阵列 的 内 容 或 称 它 为 
编码 器 的 状态 ,用 函数 形式 表示 是 


Cs FO nn FO) (6-4-6) 
式 中 Si 二 hm”!,…,m*'), 或 写成 
St = hm' ,mT ,so mt ) = hm' ,S$') (6-4-7) 


式 (6-5-6)、 式 (6-4-7) 说 明 : 是 本 时 刻 输 入 信息 组 m' 和 编码 器 状态 8 共同 决定 了 编码 输出 
Ci 和 下 一 状态 $+!。 由 于 编码 器 状态 和 信息 组 花样 都 是 有 限 数 量 的 ,所 以 可 以 用 一 个 信息 
组 m 触发 的 状态 转移 图 来 描述 一 个 卷 积 码 。 

例 6-9 同 例 6-8 的 (3,1,2) 卷 积 码 ,转移 函数 第 阵 G(D) 二 (1,1 十 D,1 十 D 十 D?) ,编码 
器 结构 如 图 6-18 所 示 。 试 用 状态 流 图 来 描述 该 码 。 假 如 输入 信息 序列 是 10110… ,输出 码 
字 是 什么 ? 

解 : 本 题 ?一 3, 王 1, 江 一 2, 记 忆 阵 列 为 一 行 三 列 , 其 中 第 1 列 是 本 时 刻 i 输入 信息 m;， 
第 2.3 列 是 记忆 信息 即 编码 器 状态 ,mi mi: 的 4 种 组 合 决定 了 编码 器 的 4 个 状态 。 输 入 
m5 和 状态 mi mi 又 共同 决定 了 编码 输出 和 编码 器 的 下 一 状态 ,我们 把 各 种 可 能 的 情况 
汇总 列 于 表 6-7 中 。 

表 6-7(a) ”编码 器 状态 的 定义 表 6-7(b) 不 同 状态 与 输入 时 表 6-7(c) 不 同 状态 5' 与 输入 


状态 mimt 编 出 的 码 字 时 的 下 一 状态 Si 
So 00 状态 a mo=0 | mo=1 状态 | m=0 | m=1 
2 态 
Si 01 So 111 So S: 
Ss, 10 Si 110 Si S: 
Ss, Ss, SS 
S; 洲 寺 总 


比 表 更 为 简练 和 直观 的 方法 是 采用 编码 矩阵 和 状态 流 图 。 编 码 和 矩阵 
5 . 燥 名 
Sur000 . 111 
Si |o01 . 110 
S| ‘ol , ‘Of 
Sl 00 二 ‘ol 
编码 矩阵 第 i 行 第 7 列 的 元 素 表示 由 状态 S-: 转 移 到 下 一 状态 S;-1 时 发 送 的 码 字 , 若 
矩阵 元 素 是 “.”, 说 明 这 种 状态 转移 是 不 可 能 事件 。 例 如 从 状态 So 转移 到 下 一 状态 Si 就 不 
可 能 ,因为 输入 比特 只 有 0 或 1 两 种 可 能 ,只 能 对 应 两 种 转移 ,从 表 6-7(c) 看 出 状态 S。 只 能 
转移 到 状态 Su 或 5S,。 
图 6-19 是 状态 流 图 ,圆圈 代表 状态 ,箭头 代表 转移 ,与 箭头 对 应 的 标注 ,如 0/010 ,表示 
输入 信息 0 时 编 出 码 字 010。 每 个 状态 都 有 两 个 箭头 发 出 ,对 应 输入 分 别 是 0、1 两 种 情况 
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下 的 转移 路 径 。 假 如 输入 信息 序列 是 10110…, 从 状态 流 图 可 以 容易 地 找到 输入 /输出 和 状 
态 的 转移 。 可 从 状态 5S。 出 发 ,根据 输入 找到 相应 箭头 , 随 箭头 在 状态 流 图 上 移动 ,得 以 下 结 
果 , 如 图 6-19 上 粗 线 所 示 。 


1/111 0/011 1/110 1/100 0/010 
站 > S, > S) > S, > Ss > Si 


从 上 例 看 到 ,编码 矩阵 明晰 地 揭示 了 状态 转移 规律 ， 
而 状态 图 则 为 利用 信号 流 图 的 数学 工具 奠定 了 基础 。 但 
美中不足 的 是 状态 图 缺少 一 根 时 间 轴 ,不 能 记录 下 状态 转 
移 的 轨迹 。 网 格 图 (也 有 人 称 为 格 栅 图 、 格 子 图 、 算 秃 图 ) 
弥补 了 这 一 个 缺点 , 它 以 状态 为 纵 轴 , 以 时 间 ( 单 位 为 码 字 
周期 T) 为 横 轴 ,将 状态 转移 沿 时 间 轴 展开 ,从 而 使 编码 历 
史 过 程 跃然 纸 上 。 网 格 图 有 助 于 发 现 卷 积 码 的 性 能 特征 ， 
图 6-19 《3,1,2) 卷 积 码 状态 流 图 有 助 于 译 码 算法 的 推导 ,是 借助 计算 机 分 析 研究 卷 积 码 的 
最 得 力 工具 。 
网 格 图 分 成 两 部 分 ,一 部 分 是 对 编码 器 的 描述 ,告诉 人 们 从 本 时 刻 的 各 状态 可 以 转移 到 
下 一 时 刻 的 哪些 状态 ,伴随 转移 的 输入 信息 /输出 码 字 是 什么 。 另 一 部 分 是 对 编码 过 程 的 记 
录 , 一 根 半 无 限 的 水 平 线 ( 纵 轴 上 的 常数 ) 标 志 某 一 个 状态 ,一 个 箭头 代表 一 次 转移 ,每 隔 时 
间 T( 相 当 于 图 6-16(b) 移 存 器 的 一 位 时 延 D) 转 移 一 次 ,转移 的 轨迹 称 为 路 径 。 两 部 分 可 
以 合 画 在 一 起 ,也 可 单独 画 , 比 如 在 描述 卷 积 编码 器 本 身 而 并 不 涉及 具体 编码 时 ,只 需 第 一 
部 分 网 格 图 就 够 了 。 当 状态 很 多 、 转 移 线 很 密 时 ,网 格 图 上 难以 标 全 伴随 所 有 转移 的 输入 / 
输出 码 字 信息 ,此 时 ,对 照 编码 矩阵 可 看 得 更 清楚 些 。 
例 6-10 同 例 6-8 的 (3,1,2) 卷 积 码 ,编码 器 结构 如 图 6-18 所 示 , 试 用 网 格 图 来 描述 该 码 。 
假如 输入 信息 序列 是 10110…, 输 出 码 字 是 什么 ? 
解 : 参见 例 6-9 所 得 的 编码 矩阵 和 状态 流 图 ,可 得 图 6-20 所 示 网 格 图 和 编码 轨迹 。 


第 一 部 分 : 网 格 图 第 二 部 分 : 编码 轨迹 (路 径 ) 图 
S00) 。_Q000 0/000 0/000 0/000 0/000 0/000 0/000 
> ~ 000 
uni U1ll 2 
SI(01 。 
(CD 
0 1IIO、 
Sa(10) 。 ~ 
01010 
S11) 。 。 
1101 j=0 六 27 37 47 57 67 


图 6-20 (3,1,2) 卷 积 码 网 格 图 


由 图 6-20 看 到 , 当 输 入 5 位 信息 10110 时 ,输出 码 字 和 状态 转移 是 


W111 0/011 1/110 1/100 0/010 
So > S; > SI > 2 > Ss ~ Sl 


如 果 继 续 输入 第 6 位 信息 ,信息 为 0 或 1 时 ,状态 将 分 别 转移 到 S 或 5; ,而 不 可 能 转移 到 
Si 或 S; 。 网 格 图 顶 上 的 一 条 路 径 代 表 输 入 全 0 信息 /输出 全 0 码 字 时 的 路 径 , 这 条 路 径 在 
卷 积 码 分 析 时 常 被 用 作为 参考 路 径 。 
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上 例 中 ,从 某 一 状态 出 发 只 能 转移 到 4 个 状态 之 中 的 2 个 ,可 能 进入 到 每 个 状态 的 分 支 
也 只 有 两 条 ,由 此 可 见 在 网 格 图 里 的 编码 路 径 并 不 是 随意 的 。 推 广 为 一 般 结论 ,从 (n,k) 卷 
积 码 网 格 图 每 个 状态 发 出 的 转移 可 有 2 条 。 

对 于 无 限 长 的 信息 序列 ,每 一 个 k 位 信息 组 产生 一 个 位 的 码 字 ,与 分 组 码 一 样 。 但 对 
于 有 限 长 的 信息 如 单个 数据 帧 的 信息 ,情况 就 不 同 了 。 设 信息 序列 长 度 为 M 个 k 位 分 组 ， 
由 于 记忆 效应 ,编码 器 在 输出 M 个 码 字 后 将 继续 输出 工 个 码 字 才能 将 记忆 阵列 中 的 内 容 完 
全 移出 ,这 就 导致 卷 积 码 码 率 下 降 为 

AM 


机 Sos8 


可 见 , 卷 积 码 约束 长 度 工 十 1 越 长 ,信息 组 数 M 越 短 , 则 编码 效率 越 低 ,而 当 M 一 2 时 , 码 率 
R. 二 k/n。 从 这 点 来 看 ,对 于 短 的 突 发 信息 , 卷 积 码 约束 长 度 也 应 设计 得 短 些 。 


6.4.2 卷 积 码 的 最 大 似 然 译 码 一 一 维特 比 算法 


卷 积 码 的 性 能 取决 于 卷 积 码 距 离 特性 和 译 码 算法 ,其 中 距离 特性 是 卷 积 码 自身 本 质 的 
属性 , 它 决 定 了 该 码 潜 在 的 纠 错 能 力 ,而 译 码 算法 是 如 何 将 潜在 纠 错 能 力 转化 为 实际 纠 错 能 
力 的 问题 。 为 此 ,了 解 卷 积 码 距离 特性 是 必要 的 。 

描述 距离 特性 的 最 好 方法 是 利用 网 格 图 。 设 序列 CY、C? 是 同一 时 刻 从 同一 状态 出 发 
的 任意 两 个 不 同 的 二 进 码 字 序列 ,不 失 一 般 性 不 妨 设 0 时 刻 从 0 状态 出 发 。 序 列 距离 定义 
为 两 序列 CY 和 CC 在 对 应 时 刻 的 码 字 的 汉 明 距离 之 和 , 即 两 序列 模 2 加 后 的 重量 。 由 于 线 
性 卷 积 码 的 封闭 性 , 若 CC2 =C, 则 C 也 是 一 个 码 字 序列 ,有 以 下 关系 式 

d(C0 ,C7)=W(CY? OC)=WC) = WCOO0 = d(C,0) (6-4-9) 
其 含义 是 : 任意 两 序列 间 的 距离 等 于 将 它们 模 2 加 后 所 得 序列 的 汉 明 重量 ,又 一 定 等 于 某 
一 序列 与 全 零 序列 的 距离 ,等 效 地 等 于 该 序列 的 重量 。 因 此 与 研究 分 组 码 距离 特性 一 样 , 可 
以 通过 研究 序列 重量 来 研究 卷 积 码 距离 特性 ,序列 间 的 最 小 距离 正 是 最 轻 序 列 的 重量 。 

序列 距离 还 与 序列 的 长 度 有 关 。 长 度 为 一 个 码 字 的 两 序列 ,距离 不 可 能 超过 码 长 n; 两 
个 码 字 长 度 的 两 序列 ,距离 不 可 能 超过 2n; 而 当 序 列 长 度 趋 于 无 穷 时 ,距离 可 能 趋 于 无 穷 。 
为 此 ,我 们 定义 长 度 !( 码 字 ) 的 任意 两 序列 的 最 小 距离 为 ! 阶 列 距离 , 记 作 d.(1), 即 

d.(l) = min{d(Cco ,C?),: CP C0)}= min(W(O),: C0 (6-4-10) 
式 中 ,下 标 /表示 序列 长 度 。 当 :一 =" 时 ,任意 两 序列 的 最 小 距离 叫做 自由 距离 dr , 即 

di 一 limde(0) = min{d(C®? ,C2 )- :CO 关 C2 = min(W(C)-:C 天 0}) (6-4-11) 
也 有 人 直接 把 自由 距离 叫做 最 小 距离 ,写成 we。 根据 定义 ,自由 距离 在 网 格 图 上 就 是 0 时 
刻 从 0 状态 与 全 零 路 径 分 又 (C 取 0) ,经 若干 分 支 后 又 回 到 全 零 路 径 ( 与 全 零 序 列 距离 不 再 
继续 增 大 ) 的 所 有 路 径 中 ,重量 最 轻 ( 与 全 零 序 列 距离 最 近 ) 的 那 条 路 径 的 重量 。 

例 6-11 同 例 6-8 的 (3,1,2) 卷 积 码 ,编码 器 结构 如 图 6-18 所 示 。 试 计算 该 码 的 自由 
距离 di。 

解 : 分 析 0 时刻 从 0 状态 与 全 零 路 径 分 又 、 又 回 到 全 零 路 径 的 所 有 可 能 的 路 径 如 图 6-21 
所 示 , 其 中 伴随 每 个 转移 所 标的 数字 是 对 应 码 字 与 全 零 码 的 距离 。 图 中 ,0 时 刻 分 又 后 的 第 
一 次 转移 只 有 一 条 非 零 分 支 , 列 距 离 d.(1) 王 3。 第 二 次 转移 后 (时 刻 2T) 有 SS S; 和 
So S。 S; 两 条 路 径 , 重 量 分 别 是 d[(111011),(000000)]=5 和 a[(111100),(000000)]==4， 
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选 其 中 小 者 为 列 距离 ,得 de(2) 王 4。 以 此 类 推 ,可 得 各 阶 列 距离 如 图 底部 所 标 。 比 较 各 值 ， 
发 现 7 在 [4,c=] 范 围 内 列 距离 不 变 , 即 得 自由 距离 di 一 limade(0) 一 6, 而 具有 该 自由 距离 的 
路 径 有 两 条 : 

D SS:SiSuS… limde(D)=W11,011,001,000,000.…)=6 

©® SS:S: S15oSo** limd.(D) =W(111,100,010,001,000.)=6 
列 距离 不 再 增加 的 原因 是 序列 一 旦 重新 与 全 零 序列 汇合 ,后 面 重合 部 分 与 全 零 序列 的 距离 
永远 为 零 ,整个 序列 的 重量 也 就 不 再 增加 。 


人 =0 17 27 外 47 ST 67 
0 0 0/000 0/000 0/000 0/000 0/000 
一 一 


2 4 6 
d=3 dQ)4 dl3)5 dd-6 dl(5)6 di(6)=6 


图 6-21 (3,1,2) 卷 积 码 的 自由 距离 di 国 


分 组 码 的 纠 错 能 力 取 决 于 码 的 最 小 距离 ,分 组 码 的 最 大 似 然 译 码 实际 上 就 是 最 小 距离 
译 码 ,这 些 准则 同样 也 适用 于 卷 积 码 ,不 同 之 处 仅 在 于 ,分 组 码 考 虑 的 是 孤立 码 字 间 的 距离 ， 
而 卷 积 码 考虑 的 是 码 字 序列 间 的 距离 。 既 然 序列 距离 决定 卷 积 码 性 能 ,衡量 序列 距离 最 主 
要 的 参数 一 一 自由 距离 di 就 成 了 卷 积 码 的 主要 性 能 指标 。 卷 积 码 自由 距离 di 的 计算 有 很 
多 方法 ,简单 的 卷 积 码 如 上 例 可 以 直接 在 网 格 图 上 推 得 ; 稍微 复杂 一 些 的 卷 积 码 可 采用 信 
号 流 图 法 , 它 也 最 具 理论 价值 ; 而 最 实用 的 方法 还 是 靠 编程 利用 计算 机 来 搜索 。 

信号 流 图 可 用 来 计算 任何 一 个 以 支 路 为 基础 线性 累积 的 物理 量 。 如 果 和 希望 这 个 量 不 是 
以 * 积 ?而 是 以 “和 ?的 形式 累积 ,可 将 这 个 物理 量 写作 某 个 基底 的 寡 次 。 图 6-19 的 状态 流 图 
实际 上 就 是 一 种 信号 流 图 ,一 个 状态 对 应 一 个 节点 .一 次 转移 对 应 一 条 支 路 ,两 状态 间 一 条 
路 径 的 重量 对 应 于 信号 流 图 两 节点 间 一 条 路 径 的 增益 ,而 两 节点 间 的 生成 函数 (或 叫 转移 函 
数 )T(D) 代 表 所 有 路 径 增益 之 和 。 解 信号 流 图 可 以 利用 Mason 的 增益 公式 ,也 可 根据 有 向 
图 列 出 线性 状态 方程 从 而 把 解 图 化 为 解 方程 ,还 可 通过 图 论 中 的 等 效 变化 解 图 。 若 由 信和 号 
流 图 法 解 得 T(D), 则 不 但 自由 距离 可 知 , 而 且 有 助 于 从 理论 上 分 析 卷 积 码 的 差错 控制 能 
力 。 下 面 举例 说 明 TCD) 和 di 的 关系 ,至 于 求解 T(D) 的 详细 方法 请 见 有 关 书 籍 。 

例 6-12 同 例 6-9 的 (3,1,2) 卷 积 码 ,其 状态 流 图 如 图 6-19 所 示 。 试 用 信号 流 图 法 计 
算 生成 函数 TCD) ,并 得 出 该 码 的 自由 距离 di 。 

解 : 由 于 自由 距离 是 由 零 状态 出 发 又 回 到 零 状态 的 最 轻 序列 的 重量 ,我 们 把 零 状态 拆 
开 成 两 个 节点 ,一 个 为 发 点 ,一 个 为 收 点 ,如 图 6-22(a) 所 示 。 将 每 次 转移 的 码 重 作为 分 支 
增益 放 在 的 指数 上 以 便 以 “和 ?而 非 “ 积 ”的 方式 累积 。 比 如 从 状态 Se 转移 到 S* 所 对 应 码 
字 (111) 的 重量 为 3 ,就 把 分 支 增 益 定 为 Ds: ,以 此 类 推 。 这 样 , 沿 着 任意 一 条 由 发 点 到 收 点 
的 路 径 都 有 一 个 对 应 的 路 径 增益 ,增益 最 小 的 路 径 就 是 最 轻 路 径 , 生 成 函数 TCD) 就 是 所 有 
路 径 增 益 之 和 。 利 用 图 6-22(b) 的 等 效 变化 ,将 6-22(a) 的 流 图 变 为 最 简 形 式 后 求 得 T(D)， 
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如 图 6-22(c) 所 示 。 根 据 化 简 的 结果 ,得 生成 函数 T(D) ,再 用 长 除法 将 其 展开 ， 
= 2D°—D’ ops 8 i 
TD= D+ oD" + 
生成 函数 TCD) 的 每 一 项 对 应 网 格 图 上 的 一 条 非 零 路 径 ,项 的 霉 次 指示 对 应 非 零 路 径 
的 重量 。 因 此 本 题 的 TCD) 告诉 我 们 : 从 零 状态 出 发 又 回 到 零 状态 的 非 零 路 径 有 无 数 条 ,其 


中 有 两 条 重量 为 6 的 路 径 ,1 条 重量 为 8 的 路 径 ,5 条 重量 为 10 的 路 径 …。 显 然 ,最 低 突 次 


6 就 是 自由 距离 di ,最低 次 项 的 系数 就 是 重量 等 于 di 的 路 径 的 条 数 。 对 照 图 6-21, 可 知 计 
算 结 果 是 正确 的 。 
Dp? 
ED 
LN 
一 DB wp D 
VB, op 
万 
i D:D +D) 
4 A+B D2 小 
一 Pt+D) _ 2D°-ps 
有 BC LPG +p3) 1-DZL2D4+D5 


AB 号 流 图 的 
1 Os a (6) 信号 流 图 的 化 简 
全 


(b) 信号 流 图 的 等 效 变化 
图 6-22 用 信号 流 图 化 简 法 计算 生成 函数 TCD) 国 


上 例 的 生成 函数 虽然 是 针对 具体 问题 计算 的 ,但 其 结果 具有 一 般 性 。 对 于 给 定 的 信号 
流 图 , 解 出 的 生成 函数 TCD) 均 可 写成 以 下 形式 
T(D) = AD: (6-4-12) 


d=df 


式 中 d 次 项 系数 A。 代 表 重 量 为 d 、 从 零 状态 出 发 又 回 到 零 状态 的 非 零 路 径 的 条 数 ,上 例 的 
具体 数据 是 A。 二 2,As 二 1,Ay 二 5,…。 

某 些 卷 积 码 表现 出 一 种 特别 的 性 质 叫 做 恶性 差错 传播 。 当 具有 这 种 特性 的 卷 积 码 用 于 
二 进 制 对 称 信道 时 ,就 可 能 因为 有 限 数量 的 信道 差错 而 引起 无 限 数量 的 译 码 差错 。 这 种 码 
可 从 它 的 状态 图 看 出 来 。 它 含有 一 条 从 某 个 非 零 状态 返回 同一 状态 的 零 距 离 的 路 径 , 这 意 
味 着 可 以 沿 着 这 条 零 距 离 路 径 环 绕 无 限 多 次 ,而 与 全 零 路 径 之 间 的 距离 并 不 增 大 。 但 是 ,如 
果 这 条 自 环 对 应 于 传送 “1? 时 , 则 译 码 器 将 产生 无 穷 多 个 差错 。 因 此 ,在 实用 中 应 注意 识别 
和 避免 恶性 卷 积 码 。 需 指出 的 是 : 系统 卷 积 码 一 定 是 非 恶 性 的 ,但 系统 卷 积 码 通常 并 不 是 
性 能 最 好 的 码 。 

对 于 编码 器 编 出 的 任何 码 字 序 列 ,在 网 格 图 上 一 定 可 以 找到 一 条 连续 的 路 径 与 之 对 应 。 
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但 在 译 码 端 ,一 旦 传输 、 存 储 过 程 中 出 现 差错 ,输入 到 译 码 器 的 接收 码 字 在 网 格 图 上 就 找 不 
出 一 条 对 应 的 连续 路 径 ,而 只 是 若干 似是而非 .断断续续 的 路 由 可 供 作 译 码 参 考 。 而 译 码 输 
出 的 码 字 流 必须 对 应 一 条 连续 路 径 ,否则 肯定 是 译 码 差错 。 卷 积 码 最 小 距离 译 码 的 思路 是 : 
以 断 续 的 接收 码 流 为 基础 ,逐个 计算 它 与 其 他 所 有 可 能 出 现 的 、 连 续 的 网 格 图 路 径 的 距离 ， 
选 出 距离 最 小 者 作为 译 码 估 值 输出 。 在 二 进 制 硬 判 决 译 码 情况 下 ,最 小 距离 就 是 最 小 汉 明 
距离 ; 在 二 维 调制 (PSK、QAM) 和 软 判 决 情况 下 ,最 小 距离 一 般 指 最 小 欧 氏 (Euclidean) 距 
离 。 这 种 以 序列 为 基础 的 译 码 叫 序列 译 码 ,在 编码 理论 发 展 过 程 中 曾 出 现 过 多 种 序列 译 码 
方法 ,如 Wozencraft 和 Reiffen 于 1961 年 提出 的 序列 译 码 算 法 ,这 种 算法 后 来 由 范 诺 
(Aano,1963 年 ) 作 了 修改 和 完善 ,现在 称 为 范 诺 算 法 ,以 及 齐 盖 吉 洛 (Ziganzirov,1966 年 ) 
和 杰 林 克 (Jelinek,1969 年 ) 设 计 出 的 堆栈 算法 等 ,但 这 些 都 不 是 最 佳 译 码 。 

卷 积 码 本 质 上 是 一 个 有 限 状态 机 , 它 的 最 佳 译 码 器 应 该 与 有 记忆 信号 的 最 佳 解 调 器 类 
似 , 是 一 个 最 大 似 然 序 列 估计 器 。 所 以 , 卷 积 码 的 译 码 就 是 要 搜 遍 网 格 图 找 出 最 可 能 的 序 
列 。 根 据 译 码 器 之 前 的 解 调 器 执行 的 是 软 判 决 还 是 硬 判决 ,搜寻 网 格 图 时 所 用 的 相似 性 量 
度 可 以 是 汉 明 距离 ,也 可 以 是 欧 氏 距离 ,这 种 最 小 距离 准则 的 译 码 算法 叫 卷 积 码 的 最 大 似 然 
译 码 。 在 加 性 高 斯 白 噪声 .2 科 1/2 的 二 进 制 对 称 信 道中 ,这 种 算法 的 差错 概率 最 小 ,因此 也 
是 最 佳 译 码 。 当 前 最 流行 的 卷 积 码 译 码 算法 是 维特 比 (Viterbi) 于 1967 年 提出 的 维特 比 算 
法 。 该 算法 提出 的 两 年 后 ,小 村 (Omura) 指 出 维特 比 算法 等 价 于 在 一 个 加 权 图 上 求 最 短路 
径 。1973 年 福 尼 (Forney) 又 证 明了 维特 比 算法 实质 上 就 是 卷 积 码 的 最 大 似 然 译 码 。 由 于 
最 优 的 特性 和 相对 适中 的 复杂 度 ,使 维特 比 算法 在 K 三 10 的 卷 积 码 译 码 中 成 为 最 普遍 采用 
的 算法 。 下 面 结合 具体 例子 来 说 明 维特 比 算法 的 执行 过 程 。 

例 6-13 同 例 6-8 的 (3,1,2) 卷 积 码 , 其 网 格 图 如 图 6-23(a) 所 示 。 设 发 送 的 码 字 序 
列 是 

C=(000,111,011,001,000,000,.…) ,传输 时 发 生 两 位 差错 ,接收 的 码 字 序列 是 

R= 二 (110,111,011,001,000,000,…), 试 用 维特 比 算法 译 码 。 

解 : (1) 为 了 便于 编程 实现 ,用 数组 描述 6-23(a) 网 格 图 结构 ,4 个 状态 分 别 是 1、2、 
3 、4: 

p(1;1)=1,c(1,1)=000,p(1,2)=2,c(1,2)=001, 

p(2,1)=3,c(2,1)=011,p(2,2)=4,c(2,2)=010, 

p(3,1)=1,c(3,1)=111,p(3,2)=2,c(3,2)=110, 

p(4,1)=3,c(4,1)=100,p(4,2)=4,c(4,2)=101。 
其 中 ,p(4,1) 二 3,p(4,2) 二 4 表示 到 达 第 4 状态 的 第 1、 第 2 个 前 状态 (predecessor) 分 别 是 
状态 3 和 4, 对 应 的 码 字 分 别 是 c(4,1) 二 100 和 ec(4,2) 二 101, 其 他 类 推 。 

(2) 计算 第 1 时刻 接收 码 R, 相 对 于 各 码 字 的 相似 度 , 称 作 分 支 量 度 (branch metric， 
BM)。 在 软 判 决 情况 下 ,BM 一 般 指 欧 氏 距离 。 在 二 进 制 硬 判 决 情况 下 ,BM 即 汉 明 距 离 

BM’(i,j) = W[e(i,j) ® Ri] (6-4-13) 

其 中 BM'(i,j) 表 示 第 /时刻 接收 码 Ri 与 到 达 第 i 状态 的 第 j 个 转移 所 对 应 的 码 字 的 距离 。 
本 题 Ri 二 110,R; 二 111,R; 二 011,R, 二 001,R; 二 000,… ,时刻 3 的 分 支 量 度 ( 见 图 6-23(b)) 
分 别 是 BM (1,1)==W[e(1,1)@R;s] 二 W[000 旬 011]==2, 以 及 BM3(1,2) 王 1,BM3(2,1) 一 
0,BM’(2,2)=1,BM’(3,1)=1,BM’(3,2)=2,BM’(4,1)=3,BM:(4,2)=2。 
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(a) (3,1,2) 卷 积 码 网 格 图 结构 


Ri=110 R=11l 


PM°(1)=0N PMI'(1)=2 


2 。 . 
PMo2)=0 PMI(2)= oo PME(2)=2 M3(2)=2 最 似 然 
Oy Qo PM 、PM32)-2 最 似 然 
PM°%3=% PMI'(3)=1 PM2(G3)-2 , PM3(3)=4 
4. . 出 
PMI(4)= PMI(4)= PM2(4)=3 PM3(4)=5 


时 刻 三 2 时 刻 53 


$2(1)=000,000,000,000 S31)=000,111,011,001 
$2(2)=000,000,111,011 SC)=000000UINOII 。 
SEO00000UII S53(3)=000.111.011,110 
S$2(4)=000,000,111,100 S53(4)-000000WUN 100 


时 刻 三 3 输出 :WD 
(b) 三 3 时 的 BM "(四 、PM'(i)、S (0 和 网 格 图 


Rs=001 
和 输出 S54(1):000,111,011,001® 
PM=0 0 ”PM4(1)=2 最 似 然 
Dg “2 S32): 00,111,011 Ss#(2):111,011,110,011 


四 
> CPMOJs 
2 $3(3): 000.111.011.110 S4G3):000.111.011.110 


PM= 
3 了 e 
PpPM=w 4 PM:(3)=5 S44):111,011,110,100 
4. . . ph pe 
PM=%o 3 5 PM(4)=6 
(©) 时 刻 三 4 
Rs=000 有 
1 S4 (D 苗 加 11.011.001 一 一 S500):111.011.001.000 。 
PM=0 -71 2 最 似 多 
输出 S52):111.011,110.011 


中 
. 
. 


PM= co 

3 。 . . S4 (3):000,111,011,110 S53(3):111,011,001,111 
PM=~ 2 4 

Pe . . 六 本 55(4):111.011,110,100 
PM= ~ 3 5 6 6 


(四 时 刻 二 5 


图 6-23 不 同时 刻 的 BM'(i,7) ,PM' (站),S'(i) 和 网 格 图 
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5 Re=000 6 


1 0 3(01): 国 011.001.000 55(1)=011,001,000.000 。 
pM= 2 -2 最 似 然 tb, 
六 输出 $5(2)=011,001,111.011 
PM= 5 
3。 . $5(3):111,011,001,111 $5(3)=011,001,000,111 
PM= 5 
4®0 。 .0 Se(4)=011.001.111.100 
PM= 6 6 6 

人) 时 刻 二 6 

图 6-23 〈( 续 ) 


(3) 计算 第 时刻 到 达 状 态 i 的 最 大 似 然 路 径 之 相似 度 即 路 径 量度 (path metric, PM) 
PM'( 让 是 将 上 一 时 刻 的 路 径 量 度 PM"™' 与 本 时 刻 分 支 量度 BM 累加 后 选择 其 中 相似 度 最 
大 的 一 个 ,对 于 二 进 制 硬 判 决 就 是 选 汉 明 距 离 最 小 的 一 个 

PM’(i) = min{PM™ [pCi,7)] + BM' Gi,7)) 

初始 时 , 除 全 零 状 态 的 PM?'(1) 二 0 外 ,其 余 状态 的 PM? (i) ,i 考 0 均 置 为 co 。 

图 6-23(b) 中 ,时 刻 3 到 达 状 态 1 的 路 径 可 以 来 自 状态 1 和 2 两 处 ,该 两 处 前 时 刻 的 路 
径 量 度 分 别 是 PM? (1)==5 和 PM2:(2) 王 2, 本 时 刻 的 分 支 量度 分 别 是 BM (1,1) 王 2 和 BM 
(1,2) 王 1, 因 此 时 刻 3 状态 1 的 路 径 量度 

PM (1)=min{PM’?[p(1,1)]+BM: (1,1),PM’[p(1,2)]+BM (1,2)}=min{5 十 2, 
2 十 1) 一 3。 

以 上 计算 路 径 量度 的 过 程 实际 上 就 是 挑选 到 达 状 态 1 的 最 大 似 然 路 径 的 过 程 。 我 们 看 
到 有 两 条 路 径 可 达 , 一 条 与 接收 码 的 汉 明 距离 为 5 十 2, 另 一 条 的 汉 明 距离 为 2 十 1, 距 离 越 小 
则 似 然 度 越 大 ,所 以 取 PM (1) 王 3 隐 含 了 选择 路 径 Si-~ Si 一 S: 一 Si 为 到 达 状 态 1 的 最 
大 似 然 路 径 。 同 理 , 到 达 其 他 各 状态 最 大 似 然 路 径 的 PM 分 别 是 


(6-4-14) 


PM’(2) = min{(2 十 0,3 十 1} 一 2 
PM’(3) = min{(5 十 1,2 十 2} 一 4 
PMz:(4) = min{2 二 3,3 十 2} 一 5 


再 将 时 刻 3 各 状态 的 PM 进行 比较 ,显然 ,到 达 状 态 2 的 路 径 最 似 然 。 

(4) 译 码 输 出 以 及 更 新 第 / 时 刻 、 状 态 i 对 应 的 留存 路 径 (survivor)S'(i)。 留 存 路 径 是 
与 最 大 似 然 路 径 对 应 的 码 字 序列 ,每 状态 一 个 ,长 度 为 D。 留 存 路 径 每 时 刻 按 以 下 步骤 更 新 
一 次 : @ 设 到 达 状 态 i 的 最 大 似 然 路 径 的 前 状态 是 j, 则 令 j 状态 前 时 刻 的 留存 路 径 作为 本 
时 刻本 状态 i 的 留存 路 径 , 即 SG) 一 SG)。 回 选择 具有 最 小 (最 似 然 )PM 那个 状态 的 留 
存 路 径 最 左边 (D 时 刻 之 前 进入 ) 的 码 字 作为 译 码 输出 。@ 将 各 状态 留存 路 径 最 左边 的 码 
字 从 各 移 存 器 移出 ,再 将 到 达 各 状态 的 最 大 似 然 路 径 在 时 刻 ! 所 对 应 的 码 字 从 右面 移入 留 
存 路 径 S'(i)。 

比如 图 6-23(b) 中 ,时 刻 /二 3 到 达 状 态 2 的 最 大 似 然 路 径 来 自 状态 3, 而 前 时 刻 状态 
3 的 留存 路 径 是 S: (3) 一 000,000,000,111( 长 度 DD 二 4)。 比 较 各 状态 的 PM (让), 发 现状 态 
2 是 最 大 似 然 路 径 , 其 前 时 刻 在 状态 3, 于 是 取 S:(3) 最 左边 的 码 字 000 作为 译 码 输出 。 接 
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着 ,将 S:(2) 最 左边 (最 旧 ) 的 码 字 000 移出 ,将 时 刻 3 到 达 状 态 2 的 转移 所 对 应 的 码 字 
011 从 右边 移入 ,得 更 新 后 状态 2 的 留存 路 径 S;(2) 二 000,000,111,011。 同 理 可 得 S; (1)、 
SU) SS (4 

重复 步骤 (2) 一 (4) ,将 维特 比 算法 持续 下 去 ,如 图 6-23(c) 一 (e) 所 示 。 

最 后 结果 是 

发 码 : 000,111,011,001,000,000,… 

收 码 : 型 0,111,011,001,000,000,，… 

译 码 : 000,000,000,000,000,111,011,001,000,000…， 

可 见 , 经 时 延 D=4 后 ,维特 比 译 码 克服 了 收 码 中 一 个 码 字 的 差错 ,正确 译 码 输出 。 

从 上 例 我 们 看 到 

(1) 每 个 状态 都 有 自己 的 留存 路 径 和 路 径 量度 ,但 最 后 只 有 其 中 一 个 被 采纳 作为 译 码 
估 值 序列 的 输出 。 在 硬 判决 时 , 支 路 量度 BM 表示 一 次 转移 的 差错 数 , 路 径 量度 PM 表示 一 
条 路 径 上 差错 数 的 累计 ,而 留存 路 径 是 到 达 该 状态 差错 累计 数 最 少 的 那 条 路 径 所 对 应 的 码 
字 序列 片断 (长 度 D) 。 

(2) 引入 适当 时 延 能 提高 译 码 器 的 纠 错 能 力 。 网 格 图 上 正确 路 径 只 有 一 条 , 它 和 其 他 
的 路 径 量度 PM 虽然 都 在 持续 增 大 ,但 造成 增 大 的 原因 不 同 ,统计 特性 也 不 同 。 正 确 路 径 的 
PM 是 由 于 码 字 差错 造成 的 , 增 大 速率 取决 于 差错 概率 ; 而 其 他 路 径 是 由 于 路 径 差异 造成 
的 ,PM 持续 增 大 上 且 上 升 速度 快 。 当 信道 中 产生 突 发 差错 时 ,会 导致 正确 路 径 的 PM 突然 增 
大 而 暂时 超过 其 他 路 径 , 但 只 要 突 发 差错 长 度 在 一 定 限 度 之 内 ,那么 经 过 一 段 时 间 后 正确 路 
径 的 PM 总 会 恢复 为 最 小 。 因 此 ,引入 时 延 就 是 按 统计 特性 而 不 是 逐 码 字 去 判决 ,可 提高 译 
码 正确 率 。 时 延 D 的 长 度 一 般 取 为 卷 积 码 状 态 数 的 5 倍 。 

(3) 各 状态 的 留存 路 径 有 合并 为 一 条 的 趋势 。 比 较 图 6-23(c) 和 图 6-23(e) ,我 们 看 到 
在 时 刻 /二 0 到 /二 4 的 留存 路 径 已 合 为 一 条 ,这 不 是 偶然 的 ,但 需要 一 定 条 件 , 那 就 是 时 延 
足够 。 

(4) PM 是 单调 增 大 的 ,如 不 处 理 总 会 趋 于 无 穷 ,所 以 要 定期 处 理 ,比如 各 状态 PM 同 
时 减 去 同一 个 数 。 由 于 最 大 似 然 译 码 仅 对 各 状态 PM 的 相对 大 小 进行 比较 ,所 以 同 减 一 数 
对 算法 没 影响 。 

一 般 来 说 , 若 用 维特 比 算法 对 具有 2* 个 状态 的 (n,k) 卷 积 码 进行 译 码 ,就 有 2” 个 路 径 
量度 和 2” 条 留存 路 径 。 在 网 格 图 每 一 时 刻 的 每 一 节点 ,有 2* 条 路 径 汇 合 于 该 点 ,其 中 每 一 
条 路 径 都 要 计算 其 量度 并 最 后 比 大 小 ,因此 每 个 节点 要 计算 2# 个 量度, 这样 ,在 执行 每 一 级 
的 译 码 中 ,计算 量 将 随 & 和 M 成 指数 地 增加 ,这 就 将 维特 比 算 
法 的 应 用 局 限于 k 和 M 值 较 小 的 场合 。 2 

以 上 举 的 例子 是 硬 判 决 维 特 比 算法 。 软 判决 维特 比 算法 的 “2 上- 一 aN 
步 又 与 硬 判决 完全 一 样 ,不 同 点 只 是 似 然 度 BM 的 定义 ,上 例 的 | 接收 点 及 
似 然 度 是 汉 明 距离 ,而 软 判 决 似 然 度 是 欧 氏 距离 。 图 6-24 表示 | 
8-PSK 调制 下 似 然 度 BM 的 计算 。 Qo Bas Po 

接收 点 R 离 信号 点 Pi 的 欧 氏 距离 的 平方 是 : 

(一 D2 二 (CQ 一 Q) 
一 (六 十 慌 ) 十 (了 十 个 ) 一 207 十 QQ) 图 6-24 欧 氏 距离 示意 图 
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同 理 ,R 离 信号 点 P。 的 欧 氏 距离 的 平方 是 
(LoD+(Q—Q) = (B+) + + — 2 +QQo) 
由 于 (十 Q@)= 二 (1 十 Q*), 上 面前 两 项 (十 @) 十 (TP? 十 Q@ ) 在 比 大 小 时 不 起 作用 ,而 第 三 
项 I1; 十 QQ; 越 大 则 欧 氏 距离 的 平方 越 小 ,说 明 接收 点 越 靠 近 该 i 点 ,所 以 定义 接收 点 与 第 i 
个 信号 点 的 支 路 量度 BM 为 
BM = II; + QQ; 

维特 比 算法 中 只 要 用 以 上 定义 的 BM 代替 汉 明 距离 的 BM 作为 相似 度 ,PM 是 BM 的 
累计 ,并 取 PM 最 大 者 (而 不 像 汉 明 距离 时 取 最 小 者 ) 为 最 似 然 路 径 ,算法 的 其 余部 分 就 都 是 
一 样 的 了 。 


6.4.3” 卷 积 码 的 性 能 限 与 距离 特点 


卷 积 码 的 性 能 限 由 编码 方法 决定 ,而 实际 能 否 达 到 该 性 能 限 还 与 译 码 方法 有 关 。 在 各 
序列 等 概 的 情况 下 ,维特 比 最 大 似 然 译 码 等 效 于 最 佳 译 码 , 因 此 , 当 我 们 讨论 卷 积 码 性 能 时 
总 是 以 维特 比 算法 为 基础 的 。 

估计 卷 积 码 性 能 的 常用 方法 有 

@ 计算 机 模拟 。 如 误 码 率 不 是 很 小 (比如 大 于 10“) 时 可 采用 , 当 误 码 率 太 小 时 可 能 会 
因 耗 时 太 多 而 无 法 实施 ,这 与 计算 机 运算 能 力 有 关 。 

@ 推导 出 近似 公式 来 计算 性 能 限 。 

@ 估算 出 性 能 的 渐 近 线 公 式 , 信 噪 比 越 大 时 实际 性 能 离 渐 近 线 越 近 , 误 差 越 小 。 

分 组 码 的 一 个 差错 只 影响 一 个 码 字 ,而 卷 积 码 的 一 个 差错 却 要 影响 一 个 序列 ,为 此 ,在 
讨论 差错 概率 之 前 ,有 必要 先 讨论 一 下 差错 事件 。 简 单 地 说 ,发 码 序列 与 收 码 序列 不 相同 就 
是 差错 事件 。 但 发 码 序列 与 收 码 序列 几乎 有 无 限 多 个 ,不 可 能 一 一 讨论 ,为 此 必须 利用 卷 积 
码 的 线性 特性 把 问题 简化 。 不 失 一 般 性 ,假定 发 送 的 是 一 个 全 零 序 列 , 则 正确 译 码 序列 的 
轨迹 应 是 网 格 图 顶部 水 平 的 那 条 全 零 路 径 , 称 之 为 正确 路 径 。 任 何 偏离 这 条 正确 路 径 的 
译 码 估 值 序列 都 是 错误 路 径 。 确 切 地 说 ,我 们 把 某 时 刻字 从 正确 路 径 分 贫 出 去 ,经 若干 步 
后 在 7 时 刻 又 合并 回 正确 路 径 的 这 段 过 程 定义 为 差错 事件 ,相应 的 路 径 就 是 差错 路 径 ( 见 
图 6-25) 。 


6-25 ”差错 事件 示意 图 


对 照 “ 差 错 路 径 ”" 和 “自由 距离 ”的 定义 ,我们 说 差错 路 径 与 正确 路 径 之 间 的 距离 必定 大 
于 等 于 自由 距离 ,至 于 大 多 少 则 不 一 定 。 由 于 差错 事件 并 没有 一 个 固定 长 度 ,计算 差错 事件 
概率 只 能 利用 起 始 概 率 ( 时 刻 i 从 正确 路 径 分 倪 的 概率 ) 或 者 终结 概率 (时 刻 j 汇合 到 全 零 
序列 的 概率 ) 来 推导 ,两 者 应 是 等 效 的 。 下 面 来 推导 BSC 信道 ( 硬 判 决 ) 条 件 下 的 差错 
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维特 比 算法 中 ,假如 j 时 刻 与 全 零 路 径 汇 合 的 某 条 差错 路 径 与 接收 序列 的 距离 CM 
小 于 正确 (全 零 ) 路 径 与 接收 序列 的 距离 CM' ,那么 译 码 器 就 会 选择 差错 路 径 作为 最 大 似 
然 路 径 , 译 码 就 出 错 了 。 设 差错 路 径 的 重量 是 d (路径 上 有 d 个 “1” 而 其 余 为 “0”) ,此 时 接收 
序列 的 重量 必定 大 于 d/2。 显 然 ,重量 为 d 的 差错 事件 概率 就 是 接收 序列 重量 
三 (Cd 十 1)72 而 三 4 的 概率 


d 


d 
P(E,d)= >》， oe (6-4-15) 


l=(d+tD/2 


式 中 p 是 BSC 信道 的 转移 概率 ,! 是 差错 个 数 。 
a fd 
利用 组 合 公式 2] 24, 设 d 为 奇数 ,经 不 等 式 的 放大 ,由 式 (6-4-15) 得 


1=0 
d 


da a fd 
P(E,d)< 2») (ja-o2 < pa | ] 
1=0 


1 一 (Cd+D/2 i 


22 p21— p12) 一 (V45CT 一 力 ))4 (6-4-16) 
同 理 可 证 当 4 为 偶数 时 式 (6-4-16) 也 成 立 。 接 着 取 qd 的 不 同 值 ,于 是 总 的 差错 事件 概率 是 
P(E) = SAP Ed) < FA VIP) )4 (6-4-17) 


d=dt d=d! 
式 中 A 是 正 整数 ,表示 重量 为 d 的 差错 路 径 的 条 数 。 
将 式 (6-4-17) 与 式 (6-4-12) 生 成 函数 T(D) 相 比较 ,可 得 
P(E) < TO(D) | po- wpa (6-4-18) 
式 (6-4-18) 说 明 : 差错 事件 概率 P(E) 不 大 于 T(D)|p- vizq=s7。 由 此 可 见 ,由 信和 号 流 图 算 
出 的 生成 函数 T(D) 不 但 表明 了 自由 距离 ,还 可 以 用 来 计算 卷 积 码 的 性 能 限 。 
当 BSC 转移 概率 p 很 小 时 (一 般 都 是 这 样 ), 式 (6-4-17) 的 值 主要 由 第 一 项 (d= 二 di) 决 
定 , 式 子 可 简化 为 
P(E) ~ Au (VAp( — p)) ~ Ag 2 pr (6-4-19) 
从 通信 和 角度 讲 , 最 终 的 质量 指标 是 误 信息 比特 率 P,(E), 为 此 还 需 寻 找 从 差错 事件 概 
率 P(E) 推 导 误 比特 率 P,(E) 的 方法 。 我 们 知道 ,一 个 重量 为 4 的 差错 路 径 包含 d 个 差错 
比特 ,对 于 系统 卷 积 码 而 言 ,这 些 差 错 比 特有 的 是 信息 比特 ,有 的 并 不 是 信息 比特 。 我 们 定 
义 所 有 (As 条 ) 重 量 为 d 的 差错 路 径 所 对 应 的 信息 序列 (有 别 于 码 字 序列 ) 的 重量 之 和 为 
Bs, 由 于 正确 信息 序列 的 重量 为 0, 显然 Be 越 大 误 信息 比特 率 也 就 越 大 。 某 一 时 刻 差错 事 
件 的 概率 实质 上 就 是 译 码 (以 码 字 为 单位 ) 差 错 的 概率 ,对 于 一 个 (n,k) 卷 积 码 而 言 ,一 个 码 
字 含 比特 信息 。 我 们 用 Bs 取代 式 (6-4-17) 中 的 As 且 除 以 & (分摊 到 每 个 信息 比特 ) ,就 得 
到 信息 比特 的 差错 概率 


BB 于 至 CV45G 二 力 ) )4 (6-4-20) 


d=df 


上 式 称 为 契 尔 诺 夫 上 边界 (Chernoff) 。 当 < 和 1 时 , 取 上 式 的 首 项 ,得 


B 
BE Ep (6-4-21) 
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这 就 是 BSC 信道 的 误 信息 比特 率 。 
在 AWGN 信道 , 信 品 比 与 硬 判决 误 码 率 ( 可 视 为 BSC 中 的 p) 的 关系 是 


三 下 | |E | lesm 
p= yerte 二 | 0 (6-4-22) 


式 中 ,erfc(*) 是 误差 补 函 数 ,E 是 每 码 元 的 能 量 ,N。 是 单 边 噪 声 功 率 谱 密 度 。 
当 p<1 时 ,将 式 (6-4-22) 代 入 式 (6-4-21) ,得 


B 本 
Pi(E) ~ 2 (6-4-23) 
令 人 码 率 R==k/n, 将 每 一 码 元 的 能 量 折合 成 一 信息 比特 的 能 量 
E= E.R (6-4-24) 
代入 式 (6-4-23) 得 
B 
P(E) ~ 了 exp(- 总 。 史 ) (6-4-25) 
与 不 编码 的 情况 相 比较 ,不 编码 时 一 个 码 元 就 是 一 个 比特 , 即 E=E,, 由 式 (6-4-22) 
2 em (6-4-26) 


将 编码 式 (6-4-25) 与 不 编码 式 (6-4-26) 时 的 误 比 特 率 P,(E) 作 比较 ,忽略 exp(* ) 的 系数 而 
注意 起 主导 作用 的 指数 项 ,可 以 定义 两 者 指数 之 比 (分 贝 ) 为 渐 近 编码 增益 
y = 10lg(R. di/2)dB (6-4-27) 

渐 近 编码 增益 7 的 物理 意义 是 指 E,/ No 一 吕 时 ,在 同样 的 信息 速率 和 同样 的 误 比 特 率 
条 件 下 ,采用 硬 判 决 维特 比 译 码 较 之 不 编码 的 信息 传输 所 要 求 的 信 品 比 E/No 可 以 降低 的 
分 贝 数 。 正 因 是 渐 近 ,所 以 实际 的 编码 增益 总 是 小 于 y。 

用 类 似 的 方法 ,可 以 求 得 DMC 信道 软 判 决 时 的 各 项 结果 。 连 同上 面 的 结果 一 起 ,已 列 
在 表 6-8 中 。 

表 6-8 硬 , 软 判决 下 的 误 比 特 率 和 渐 近 编码 增益 


硬 判 决 软 判 决 
y B, Bs - - a 
BSC 信道 的 误 比 特 率 | PE) 让 24p PDT (2 VIITOPGITD) 
j=1 
Bi B 让 
AWGN 信道 误 比特 率 PEE2exp( 一 如 a 区 ) PCB)~ 必 em( 一 如 Rd】 
渐 近 编码 增益 7 一 10lg(R .di/2) dB y=10lg(R.d) dB 


值得 注意 的 是 : 软 判 决 与 硬 判决 的 渐 近 编码 增益 相差 一 个 因子 lg2 即 3dB。 鉴 于 上 式 
在 推导 过 程 中 的 多 次 取 上 限 和 取 近 似 ,3dB 增益 只 是 上 限 估 值 ,AWGN 信道 上 软 判决 优 于 
硬 判决 的 实际 增益 一 般 在 2dB 左右 。 

从 以 上 编码 增益 的 计算 中 可 知 自由 距离 di 是 卷 积 码 最 重要 的 参数 , 它 与 码 率 一 起 决定 
了 编码 增益 。 卷 积 码 设计 的 目标 就 是 在 一 定 约 东 条 件 下 使 设计 的 卷 积 码 具 有 最 大 的 di。 
不 同 码 率 k/n 和 约 东 长 度 L 下 最 佳 卷 积 码 的 生成 多 项 式 和 相应 的 dt 值 已 经 用 计算 机 搜索 
方法 得 到 ,可 参见 Odenwalder(1970 年 )、Larsen(1973 年 )、Paaske(1974 年 ) 和 Daut(1982 
年 ) 等 文章 。 
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本 章 小 结 


误 码 率 是 数字 通信 系统 最 重要 的 质量 指标 ,从 数字 通信 诞生 之 日 起 ,信道 编码 的 研究 就 
没有 停止 过 。 开 拓 性 的 理论 基础 是 香农 的 信息 论 ,指出 信道 传输 信息 的 能 力 是 有 限 的 ,并 给 
出 了 三 个 定理 .一 个 公式 。 香 农 的 有 扰 离散 信道 编码 定理 指出 : 只 要 码 率 R 小 于 信道 容量 
C ,总 存在 一 种 信道 编码 ,可 以 以 任意 小 的 差错 概率 实现 可 靠 的 通信 。 信 道 编 码 定理 指出 了 
减 小 误 码 率 的 两 大 方向 : 增 大 元 余 度 CR 及 增加 码 长 n ,多 年 来 信道 编码 的 研究 正 是 沿 着 
这 两 个 方向 展开 的 。 分 组 码 是 最 常用 的 纠 错 码 ,其 基本 思路 是 利用 宛 余 度 ,包括 耗费 更 多 的 
频带 、 时 间或 功率 资源 来 提高 传输 质量 。 从 一 般 分 组 码 到 循环 码 .BCH 码 .RS 码 ,研究 重点 
在 于 如 何 最 高 效率 地 利用 宛 余 度 ,采用 何 种 编译 码 方案 可 以 提高 编译 码 质量 或 工程 实现 方 
便 。 另 一 条 思路 是 增加 码 长 ,也 就 是 让 差错 的 发 生 充分 随机 化 。 与 分 组 码 齐 头 并 进 的 卷 积 
码 以 及 后 来 的 级 联 码 、 最 近 的 LDPC 码 等 都 是 遵循 这 条 思路 , 码 长 增加 的 直接 结果 是 编译 
码 器 的 复杂 度 增加 。 

作为 编译 码 的 分 析 手 段 ,早期 分 组 码 主要 基于 近世 代数 , 码 的 内 在 结构 能 被 描述 得 非常 
清楚 ,分 析 硬 判决 译 码 非常 有 效 。 但 从 卷 积 码 开始 ,由 于 码 的 结构 过 于 复杂 ,加 上 现代 译 码 
大 多 是 软 判 决 译 码 ,所 以 码 结构 和 性 能 更 容易 用 网 格 图 、 二 分 图 等 图 形 来 描述 。 在 本 章 内 容 
的 叙述 过 程 中 ,读者 可 能 已 经 领会 到 这 种 变化 。 

空 时 码 STC 是 随 第 4 代 移 动 通信 和 MIMO 技术 发 展 起 来 的 ,除了 利用 频带 .时 间 、 功 
率 、 信 号 集 等 宛 余 资源 编码 外 , 空 时 码 将 可 利用 资源 扩大 到 空间 维度 ,是 编码 技术 的 又 一 次 
突破 ,当然 也 要 付出 设备 和 运算 复杂 度 的 代价 。 因 此 可 以 得 出 结论 : 阻碍 通信 质量 进一步 
提高 的 根本 因素 是 运算 和 设备 的 复杂 度 。 可 以 期 望 , 随 着 大 规模 集成 电路 和 信号 处 理 技 术 
的 发 展 ,信道 编码 技术 会 继续 发 展 。 


习题 


6-1 写 出 构成 二 元 域 上 四 维 4 重 矢量 空间 的 全 部 矢量 元 素 , 并 找 出 其 中 一 个 两 维 子 空 
间 及 其 相应 的 对 偶 子 空间 。 

6-2 若 s 和 s, 是 矢量 空间 V 的 两 个 子 空间 ,证 明 s 和 ss 的 交 也 是 V 的 子 空间 。 

6-3 菜系 统 (8,4) 码 , 其 4 位 校 验 位 vw,i 二 0,1,…,3 与 4 位 信息 位 wi,i 二 0,1,…,3 的 
关系 是 


To Ut ist us 
Vi UoruUr uz 
Ta 一 Mo+MI+M3 


Vs 一 UotUst us 
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求 : 该 码 的 生成 矩阵 、 校 验 矩 阵 以 及 该 码 的 最 小 距离 ,并 画 出 该 编码 器 硬件 多 辑 连接 图 。 

6-4 列 出 本 章 例 6-4(7,4) 汉 明码 的 标准 阵列 译 码 表 。 若 收 码 R==(0010100,0111000， 
1110010) ,由 标准 阵列 译 码 表 判 断 发 码 是 什么 。 

6-5 ” 某 线性 二 进 码 的 生成 矩阵 为 


(1 0 Wk 
G=|I0 10011 | 
00 1 1 0 


(1) 用 系统 码 [I :Pj] 的 形式 表示 G。 

(2) 计算 该 码 的 校 验 矩 阵 H。 

(3) 列 出 该 码 的 伴随 式 表 。 

(4) 计算 该 码 的 最 小 距离 。 

(5) 证 明 : 与 信息 序列 101 相对 应 的 码 字 正 交 于 H。 

6-6 设计 一 个 (15,11) 系 统 汉 明码 的 生成 矩阵 G, 再 设计 一 个 由 g(xz) 二 1 十 x 十 x! 生 成 
的 系统 (15,11) 循 环 汉 明 码 的 编码 器 。 

6-7 根据 例 6-5 的 数据 设计 一 个 (7,3) 循环 码 ， 

(1) 列 出 所 有 码 字 证 明 其 循环 性 。 

(2) 写 出 系统 形式 的 生成 矩阵 。 

6-8 计算 (7,4) 系 统 循环 汉 明 码 最 小 重量 的 可 纠 差错 图 案 和 对 应 的 伴随 式 。 

6-9 证 明 二 进 制 [23,12,7]Golay 码 是 完备 码 。 

6-10 ” 某 帧 所 含 信息 是 (0000110101100010101100) ,循环 完 余 校 验 码 的 生成 多 项 式 是 
CRC-ITU-T 规定 的 g(x) 二 x 十 z2 十 二 十 1。 问 附加 在 信息 位 后 的 CRC 校 验 码 是 什么 ? 

6-11 证 明 : 由 CRC-ITU-T 生成 多 项 式 g(z) 一 zs 十 z2 十 x 十 1 生成 的 码 字 的 重量 
一 定 是 偶数 。 

6-12 ”生成 某 (2,1,3) 卷 积 码 的 转移 函数 矩阵 是 G(D) 二 


[FD ,ItD+ DTD ], 
(1) 画 出 编码 器 结构 图 。 


(2) 画 出 编码 器 的 状态 图 。 
(3) 求 该 码 的 自由 距离 di。 
6-13 ” 某 码 率 为 1/2、 约 束 长 度 二 3 的 二 进 制 卷 积 码 ， 
其 编码 器 如 图 6-26 所 示 。 
(1) 画 出 状态 图 和 网 格 图 。 
(2) 求 转移 函数 TCD) , 据 此 指出 自由 距离 。 
6-14 某 卷 积 码 Go 二 [1 0 0],Gi=[1 0 1],G;=[1 1 1]， 
(1) 画 出 该 码 的 编码 器 。 
(2) 画 出 该 码 的 状态 图 和 网 格 图 。 
(3) 求 出 该 码 的 转移 函数 和 自由 距离 。 
6-15 某 (3,1) 卷 积 码 的 框图 如 图 6-27 所 示 ， 
(1) 画 出 该 码 的 状态 图 。 


6-26 ”习题 6-13 图 
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(2) 求 转移 函数 T(D)。 
(3) 求 该 码 的 自由 距离 di ,在 格 栅 图 上 画 出 相应 路 径 帮 L 
2 m=3 


(与 全 0 码 字 相距 di 的 路 径 )。 I 
(4) 对 4 位 信息 比特 (zi zsyzsvzi) 和 紧 接 的 2 位 0 比 ot? 


特 卷 积 编码 后 ,以 p= 二 0.1 的 差错 概率 通过 BSC 信道 传送 到 
接收 端 。 已 知 接收 序列 是 (111 111 111 111 111 111) ,试用 图 6-27 习题 6-15 图 
维特 比 算法 找 出 最 大 似 然 的 发 送 数据 序列 。 
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女生 门生 
7 


加 密 编 码 人 


信息 (如 语言 文字 数据, 图像 等 ) 需 要 利用 通信 网 络 传送 和 交换 ,需要 利用 计算 机 处 理 
和 存储 。 显 然 ,一 部 分 信息 由 于 其 重要 性 ,在 一 定时 间 内 必须 严 加 保密 ,严格 限制 其 被 利用 
的 范围 。 利 用 密码 对 各 类 电子 信息 进行 加 密 , 以 保证 在 其 处 理 、 存 储 、 传 送 和 交换 过 程 中 不 
会 泄露 ,是 迄今 为 止 对 电子 信息 实施 保护 ,保证 信息 安全 的 唯一 有 效 措施 。 

电话 为 每 个 人 提供 方便 的 通信 ; 高 速 的 “电子 邮件 ”取代 了 传统 的 “书面 邮件 ”, 商 业 上 
也 用 “电子 邮件 ”来 签署 、 交 换 各 类 合同 ; 银行 和 金融 界 中 电子 资金 传递 系统 和 信用 卡 已 被 
广泛 应 用 ; ……。 显 然 ,在 这 类 商业 或 个 人 通信 中 ,人 们 常常 希望 能 对 其 通信 内 容 实施 加 密 
保护 和 有 效 地 证 实 鉴别 。 

计算 机 系统 要 求 只 有 合法 用 户 才 能 接 入 系统 ; 广大 用 户 希 望 自 己 输入 ` 处 理 和 存储 的 
信息 ,能 不 被 他 人 利用 ; 软件 工作 者 希望 他 们 辛勤 劳动 创造 出 来 的 系统 软件 和 应 用 软件 不 
会 被 其 他 人 无 偿 占 有 ;…… 凡 此 种 种 ,人 们 都 要 求 利 用 密码 对 重要 信息 实施 保护 。 

作为 从 事 通信 专业 的 工程 技术 人 员 ,应 对 加 密 编码 有 所 了 解 。 本 章 在 介绍 加 密 编码 基 
本 概念 的 基础 上 ,着 重 叙述 密码 学 发 展 史上 两 个 具有 里 程 碑 作用 的 加 密 算法 : 数据 加 密 标 
准 (DES) 和 公开 密 钥 密码 的 原理 及 其 实现 。 最 后 再 对 信息 安全 和 数字 签名 作 常 识 性 介绍 。 


7.1 加 密 编码 的 基础 知识 


7.1.1 加 密 编码 中 的 基本 概念 


人 们 希望 把 重要 信息 通过 某 种 变换 转换 成 秘密 形式 的 信息 。 转 换 方 法 可 以 分 为 两 大 
类 : 一 类 是 隐 写 术 , 隐 项 信息 载体 一 一 信号 的 存在 ,古代 常用 。 另 一 种 是 编码 术 , 将 载荷 信 
息 的 信号 进行 各 种 变换 使 它们 不 被 非 授权 者 所 理解 。 在 利用 现代 通信 工具 的 条 件 下 , 隐 写 
术 受 到 很 大 限制 ,但 编码 术 却 以 计算 机 为 工具 取得 了 很 大 的 发 展 。 通常 把 对 真实 数据 施加 
变化 的 过 程 称 为 加 密 Ex ,把 加 密 前 的 真实 数据 称 为 明文 M, 加 密 后 输出 的 数据 称 为 密 文 C。 
从 密 文 恢复 出 明文 的 过 程 称 为 解密 Dk 。 加 密实 际 上 是 明文 到 密 文 的 函数 变换 ,变换 过 程 
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中 使 用 的 参数 叫 密 钥 K。 完 成 加 密 和 解密 的 算法 称 为 密码 体制 。 

人 们 一 方面 要 把 自己 的 信号 隐蔽 起 来 , 另 一 方面 则 想 把 别人 的 隐蔽 信息 挖掘 出 来 ,于 
是 ,就 产生 了 密码 设计 的 着 科学 一 一 密码 分 析 。 密 码 分 析 研 究 的 问题 是 如 何 把 密 文 转换 成 
明文 ,把 密 文 转换 成 明文 的 过 程 称 为 破译 。 破 译 也 是 进行 函数 变换 ,变换 过 程 中 使 用 的 参数 
也 叫 密 钥 。 对 于 某 一 个 明文 以 及 由 它 产 生 的 密 文 ,加 密 时 使 用 的 密 钥 与 解密 时 使 用 的 密 铀 
可 以 相同 ( 单 密 钥 ) ,也 可 以 不 同 ( 双 密 钥 ) 。 后 面 将 会 详细 介绍 。 

一 般 地 ,如 果 求解 一 个 问题 需要 一 定量 的 计算 ,但 环境 所 能 提供 的 实际 资源 却 无 法 实现 
它 , 则 称 这 种 问题 是 计算 上 不 可 能 的 。 如 果 一 个 密码 体制 的 破译 是 计算 上 不 可 能 的 , 则 称 该 
密码 体制 是 计算 上 安全 的 。 

密码 体制 必须 满足 三 个 基本 要 求 : 

(1) 对 所 有 的 密 钥 ,加 密 和 解密 都 必须 迅速 有 效 ; 

(2) 体制 必须 容易 使 用 ; 

(3) 体制 的 安全 性 必须 只 依赖 于 密 钥 的 保密 性 ,而 不 依赖 算法 EE 或 D 的 保密 性 。 

第 一 个 要 求 对 于 计算 机 系统 是 十 分 重要 的 ,在 进行 数据 传输 时 通常 需要 进行 加 密 和 人 解 
密 。 如 果 它 们 的 运算 速度 过 于 缓慢 ,就 会 成 为 整个 计算 机 网 络 的 薄弱 环节 。 还 有 存储 量 ( 程 
序 的 长 度 .数据 分 组 长 度 .高速 缓 存 大 小 )、 实 现 平台 (硬件 .软件 ,芯片 ). 运 行 模式 等 因素 均 
需 折 中 考虑 。 

第 二 个 要 求 意味 着 编码 员 应 能 方便 地 找到 具有 逆 变 换 的 密 钥 加 以 解密 。 

第 三 个 要 求 意味 着 加 密 算法 和 解密 算法 都 应 该 很 强 ,能 使 破译 者 仅 知 道 加 密 算 法 还 不 
足以 破译 密码 。 这 项 要 求 是 完全 必要 的 ,因为 算法 要 交 给 公众 使 用 ,破译 者 也 会 知道 它 。 因 
而 ,无论 什么 人 ,只 要 根据 特定 的 密 钥 民 , 就 可 以 用 Ex 进行 加 密 变 换 , 用 Dk 进行 解密 变换 。 
但 与 此 同时 , 却 不 容许 相反 的 情况 成 立 ,也 就 是 知道 Ex 和 Dxk 后 不 应 该 能 导出 密 钥 天。 只 
有 这 样 ,才能 阻止 密码 分 析 员 破译 密码 。 

密码 体制 要 实现 的 功能 可 分 为 保密 性 和 真实 性 两 种 。 保 密 性 要 求 密码 分 析 员 无 法 从 截 
获 的 密 文 中 求 出 明文 。 包 括 两 项 要 求 : 

(1) 即使 截获 了 一 段 密 文 C, 甚 至 知道 了 与 它 对 应 的 明文 M, 密 码 分 析 员 要 从 中 系统 地 
求 出 解密 变换 仍然 是 计算 上 不 可 能 的 。 

(2) 密码 分 析 员 要 由 截获 的 密 文 C 系统 地 求 出 明文 M 是 计算 上 不 可 能 的 。 

第 一 个 要 求 保证 了 不 能 系统 地 求 出 解密 变换 。 第 二 个 要 求 保 证 了 在 不 知道 解密 变换 的 
情况 下 无 法 从 密 文 解 出 明文 。 无 论 被 截获 的 密 文 消息 的 数量 和 长 度 是 多 少 ,为 了 实现 保密 
性 ,这 两 个 要 求 都 必须 成 立 。 

保密 性 只 要 求 对 变换 Dk (解密 密 钥 ) 加 以 保密 ,只 要 不 影响 Dk 的 保密 ,变换 Ex 可 以 公 
布 于 众 。 图 7-1(a) 表 示 了 这 种 情况 。 

数据 的 真实 性 要 求 密码 分 析 员 无 法 用 虚假 的 密 文 C' 代 替 真 实 密 文 C 而 不 被 觉察 。 包 
括 两 个 要 求 ， 

(1) 对 于 给 定 的 C, 即 使 密码 分 析 员 知道 对 应 于 它 的 明文 M, 要 系统 地 求 出 加 密 变换 
Ex 仍然 是 计算 上 不 可 能 的 。 

(2) 密码 分 析 员 要 系统 地 找到 密 文 C', 使 Dk (C') 是 明文 空间 上 有 意义 的 明文 ,这 在 计 
算 上 是 不 可 能 的 。 
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第 一 个 要 求 保证 了 不 能 系统 地 求 出 加 密 变 换 Ex 。 第 二 个 要 求 保证 了 在 不 知道 加 密 变 
换 Ex 的 情况 下 不 能 找到 虚假 密 文 C', 使 它 在 解密 后 变 为 有 意义 的 明文 。 与 保密 性 类 似 ,为 
了 实现 真实 性 ,无 论 被 截获 的 密 文 数量 多 大 ,这 两 个 要 求 都 必须 成 立 。 真 实 性 只 要 求 变换 
Ex (加 密 密 钥 ) 保 密 ,变换 Dk 可 公布 于 众 。 图 7-1(b) 表 示 了 这 种 情况 。 


©® © 
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(a) (b) 
图 7-1 加 解密 变换 


密码 体制 可 分 为 对 称 ( 单 密 钥 ) 体 制 和 非 对 称 ( 双 密 钥 ) 体 制 。 在 对 称 体制 中 ,加 密 密 钥 
和 人 解密 密 钥 相 同 或 者 很 容易 相互 推导 出 。 由 于 我 们 假定 加 密 方法 是 众所周知 的 ,所 以 这 就 
意味 着 变换 Ek 和 Dx 很 容易 互相 推导 。 因 此 ,如 果 对 Ex 和 Dx 都 保密 , 则 保密 性 和 真实 性 
就 都 有 了 保障 。 但 这 种 体制 中 Ex 和 Dr 只 要 暴露 其 中 一 个 , 另 一 个 也 就 暴露 了 。 所 以 ,对 
称 密码 体制 必须 同时 满足 保密 性 和 真实 性 的 全 部 要 求 。 

对 称 体制 用 于 加 密 私 人 文件 十 分 方便 。 每 个 用 户 A 都 用 自己 的 秘密 变换 Ex 和 Dr 加 
密 解 密 文 件 ,如 果 其 他 用 户 无 法 得 到 Ex 和 Dx ,就 能 保障 A 的 数据 的 保密 性 和 真实 性 。 在 
用 于 保护 计算 机 网 络 中 的 信息 传输 时 ,发 送 者 和 接收 者 公用 秘密 的 通信 和 密 钥 , 它 通过 保密 信 
道 分 配给 发 . 收 双 方 。 大 量 数据 在 加 密 后 以 密 文 形式 由 非 保 密 信 道 传输 。 如 果 密 码 分 析 员 
无 法 根据 截获 的 密 文 破译 出 明文 ,那么 只 要 通信 双方 诚实 可 靠 , 互 相信 赖 ,他 们 就 能 在 通信 
中 既 保 障 保密 性 又 保障 真实 性 。 

直到 20 世纪 70 年 代 中 期 ,所 有 密码 体制 都 是 对 称 密码 体制 。 因 此 ,对称 ( 单 密 钥 ) 体 制 
通常 也 叫 传统 (或 经 典 ) 体 制 。 最 有 代表 性 的 传统 密码 体制 是 美国 政府 颁布 的 数据 加 密 标 准 
(data encryption standard,DES) ,将 在 7. 2 节 中 详细 介绍 。 

非 对 称 ( 双 密 钥 ) 密 码 体制 的 加 密 密 钥 和 解密 密 钥 中 至 少 有 一 个 在 计算 上 不 可 能 被 另 一 
个 导出 。 因 此 ,在 变换 Ex 或 Dk 中 有 一 个 可 公开 而 不 影响 另 一 个 的 保密 。 

在 非 对 称 密码 体制 中 ,通过 保护 两 个 不 同 的 变换 分 别 获得 保密 性 和 真实 性 。 保 护 Dr 
获得 保密 性 ,保护 Ek 获得 真实 性 。 公 开 密 钥 体 制 即 是 这 种 ,如 图 7-2C(a) 所 示 。 用 户 B 通过 
保密 自己 的 解密 密 钥 来 保障 他 接收 信息 的 保密 性 ,但 不 能 保证 真实 性 ,因为 任何 知道 B 的 
加 密 密 钥 的 人 都 可 以 将 虚假 消息 发 给 他 。 而 图 7-2(b) 中 用 户 A 通过 保密 自己 的 解密 密 钥 
来 保障 他 发 送信 息 的 真实 性 。 但 任何 知道 A 的 加 密 密 钥 的 人 都 可 以 破译 消息 ,保密 性 不 能 
保证 。 

为 了 既 实现 保密 性 又 实现 真实 性 .发送 者 和 接收 者 都 必须 各 自 运 用 两 组 变换 。 如 
图 7-2(c) 所 示 , 设 A 把 消息 M 发 送 给 B, 他 首先 使 用 他 的 秘密 解码 变换 DA ,然后 再 用 B 的 
公开 加 密 变换 Es 将 消息 加 密 , 密 文 发 送 至 B。B 用 自己 的 秘密 解码 变换 Ds 和 A 的 公开 加 
密 变 换 EE 两 次 解密 后 得 到 明文 M。 由 公开 变换 不 能 简单 地 推导 秘密 变换 是 公开 密 钥 体 制 和 
传统 体制 的 主要 区 别 。 最 有 代表 性 的 公开 密 钥 密码 体制 是 7. 3 节 中 将 要 介绍 的 RSA 算法 。 

公开 密 钥 真实 性 系统 可 用 来 识别 企图 进入 绝密 地 区 (如 计算 机 房 、 核 反应 堆 房 等 地 ) 的 
人 的 身份 。 具 体 做 法 是 ,中 央 控 制 当局 用 其 秘密 变换 为 所 有 允许 进入 该 地 区 的 人 建立 密码 
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(a) 保障 保密 性 人 
真实 性 


(©) 保障 保密 性 和 真实 性 


CDM 一 = C—w M(B) 
(b) 保障 真实 性 


图 7-2 保密 性 和 真实 性 


标识 卡 ( 无 法 伪造 )。 卡 上 的 密 文 含有 姓名 声调、 指纹. 允许 进入 的 地 区 和 可 以 进入 的 时 间 
等 信息 ,中 央 控 制 当 局 的 公开 变换 则 分 发 到 进行 出 入 控制 的 所 有 关口 。 任 何 想 出 和 人 受 控 地 
区 的 人 都 必须 通过 一 个 专用 设施 。 在 那里 ,他 的 识别 信息 如 声调 、 指 纹 等 被 取样 ,而 存储 在 
个 人 标识 卡 上 的 加 密 信 息 则 被 解密 ,然后 两 者 进行 核实 检查 , 辨 明 真 伪 。 
还 可 以 利用 公开 密 钥 的 真实 性 来 实现 数字 签名 ,在 电子 邮政 和 电子 资金 传送 领域 内 得 
到 应 用 。 
根据 加 密 明文 数据 时 的 加 密 单 位 的 不 同 , 可 以 把 密码 分 为 分 组 密码 和 序列 密码 两 大 类 。 
设 M 为 密码 消息 ,将 M 分 成 等 长 的 连续 区 组 Mi ,M: ,…, 并 且 用 同一 密 钥 为 各 区 组 加 
密 , 即 
C= E(M) = E(M)E,(M,)* 
则 称 这 种 密码 为 分 组 密码 。 分 组 的 长 度 一 般 是 几 个 字符 。 
若 将 M 分 成 连续 的 字符 或 位 mi ,ms。，… ,并 用 密 钥 序 列 K 二 kk,… 的 第 i 个 元 素 k; 给 
mi 加 密 , 即 
C= E,(M) = 下 Cm ) Pu (7 ) 
则 称 该 密码 为 序列 密码 。 这 种 密码 的 安全 性 在 于 密 钥 序列 的 性 质 和 产生 方法 。 以 下 要 介绍 
的 DES 和 RSA 密码 体制 都 是 采用 分 组 密码 。 


7.1.2 加密 编 码 中 的 炳 概念 


密码 学 和 信息 论 一 样 ,都 是 把 信 源 看 成 是 符号 (文字 、 语 言 等 ) 的 集合 ,并 且 它 按 一 定 的 
概率 产生 离散 符号 序列 。 在 第 2 章 中 介绍 的 多 余 度 的 概念 也 可 用 在 密码 学 中 ,用 来 衡量 破 
译 某 一 种 密码 体制 的 难 易 程 度 。 香 农 对 密码 学 的 重大 贡献 之 一 是 他 指出 ,多 余 度 越 小 ,相关 
性 越 小 ,不 确定 度 越 大 ,破译 的 难度 就 越 大 。 可 见 对 明文 先 压 缩 其 多 余 度 ,然后 再 加 密 , 可 提 
高 密 文 的 保密 度 。 

香农 在 理论 上 提出 了 衡量 密码 体制 保密 性 的 尺度 , 即 在 截获 密 文 后 ,明文 在 多 大 程度 上 
仍然 无 法 确定 。 如 果 无 论 截获 了 多 长 的 密 文 都 得 不 到 任何 有 关 明 文 的 信息 ,那么 就 说 这 种 
密码 体制 是 绝对 安全 的 。 

所 有 实际 密码 体制 的 密 文 总 是 会 暴露 某 些 有 关 明 文 的 信息 。 在 一 般 情况 下 ,被 截获 的 
密 文 越 长 ,明文 的 不 确定 性 就 越 小 ,最 后 会 变 为 零 。 这 时 ,就 有 足够 的 信息 唯一 地 决定 明文 ， 
于 是 这 种 密码 体制 也 就 在 理论 上 可 破译 了 。 
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但 是 理论 上 可 破译 ,并 不 能 说 明 这 些 密码 体制 不 安全 ,因为 把 明文 计算 出 来 的 时 空 需求 
也 许 会 超过 实际 上 可 供 使 用 的 资源 。 因 此 ,重要 的 不 是 密码 体制 的 绝对 安全 性 ,而 是 它 在 计 
算 上 的 安全 性 。 

可 将 密码 系统 的 安全 问题 与 噪声 信道 问题 进行 类 比 。 噪 声 相 当 于 加 密 变 换 , 接 收 的 失 
真 消息 相当 于 密 文 ,密码 分 析 员 则 可 类 比 于 噪声 信道 中 的 计算 者 ,应 用 业 的 概念 来 分 析 。 精 
代表 了 消息 的 不 确定 性 ,其 值 表示 如 果 消 息 被 噪声 通道 改变 或 隐藏 在 密 文中 ,那么 必须 知道 
多 少 位 才能 算出 正确 消息 。 例 如 ,如 果 密 码 分 析 员 知道 密 文 块 “*ZSJP7K” 所 对 应 的 明文 要 么 
是 “MALE”, 要 么 是 *FEMALE”, 那 么 其 不 确定 性 仅 为 一 位 。 为 了 确定 明文 ,密码 分 析 员 只 
要 区 分 明文 的 两 种 可 能 值 的 一 个 位 就 行 了 。 但 是 车 上 述 密 文 块 对 应 一 个 工资 值 , 则 其 不 确 
定性 就 不 止 一 位 了 。 如 果 知道 一 共 只 有 N 种 不 同 的 工资 额 ,那么 它 不 会 超过 log:N 位。 

随机 变量 的 不 确定 性 可 以 通过 给 予 附加 信息 而 减少 。 正 如 前 面 介绍 过 条 件 灶 一 定 小 于 无 
条 件 炉 。 例 如 , 令 久 是 32 位 二 进 制 整数 并 且 所 有 值 的 出 现 概率 都 相等 , 则 X 的 粮 妃 (X) 一 
32bit。 假 设 已 经 知道 X 是 偶数 ,那么 炉 就 减少 了 一 位 ,因为 X 的 最 低位 肯定 是 零 。 

对 于 给 定 的 Y,X 的 条 件 粹 HH(XIY) 

HOCX | Y) = 一 Dp (zi,y)) logsplzxi | y;) 


被 称 为 疑义 度 。 在 密码 学 中 ,将 用 到 两 种 疑义 度 ， 
(1) 对 于 给 定 密 文 , 密 钥 的 疑义 度 可 表示 为 


H(K | C) = 2p) Dp | 0) logsp (ki | c) C1 
(2) 对 于 给 定 密 文 ， 明文 的 疑义 度 可 表示 为 
H(M|C)= = Dp Dp om | c) logsp lm; | c) Coy 


设 明文 炳 为 HCMD , 密 钥 炉 为 Hk), 从 密 文 破译 来 看 ,密码 分 析 员 的 任务 是 从 截获 的 
密 文中 提取 有 关 明 文 的 信息 


I(M;C) = H(M) — H(M|O) (7:1-8) 
或 从 密 文中 提取 有 关 密 钥 的 信息 
I(K;C) = H(K)— H(K|O) (7-1-4) 
对 于 合法 的 接收 者 ,在 已 知 密 钥 和 密 文 条 件 下 提取 明文 信息 , 巾 加密 变换 的 可 逆 性 知 
HM|C,K)=0 (7-1-5) 
因而 此 时 有 
I(M;C,K) = H(M) — H(M | C,K) = H(M) (7-1-6) 


从 式 (7-1-3) 和 式 (7-1-4) 可 知 ,HCMIC) 和 右 (K1C) 越 大 , 穷 听 者 从 密 文 能 够 提取 出 有 关 
明文 和 密 钥 的 信息 就 越 小 。 

因为 

H(K |C)+HM|K,C)= HAM|O)+H(K | M,C)(M 和 K 交换 ) 

宇 HCM | C) ( 炉 值 有 H(K | M,C) 总 是 大 于 等 于 零 ) 
根据 式 (7-1-5), 上 式 得 
H(K|OHMICOC) (7-1-7) 

即 已 知 密 文 后 , 密 钥 的 疑义 度 总 是 大 于 等 于 明文 的 疑义 度 。 可 以 这 样 来 理解 ,由 于 可 能 存在 
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多 种 密 钥 把 一 个 明文 消息 M 加 密 成 相同 的 密 文 消息 C, 即 满足 
C= EM 
的 开 值 不 止 一 个 。 但 用 同一 个 密 钥 对 不 同 明文 加 密 而 得 到 相同 的 密 文 则 较 困难 。 
又 因为 HC(K) 宇 H(K1C), 由 式 (7-1-7) 得 HC(K) 宇 HCM1C), 则 

ICM;C) = HC(W— H(M|O HM— HK) (7-1-8) 
式 (7-1-8) 说 明 , 保 密 系统 的 密 钥 量 越 少 , 密 钥 炉 五 (K ) 就 越 小 ,其 密 文中 含有 的 关于 明文 的 
信息 量 TCM;C) 就 越 大 。 至 于 密码 分 析 者 能 否 有 效 地 提取 出 来 , 则 是 另外 的 问题 了 。 作 为 
系统 设计 者 ,自然 要 选择 有 足够 多 的 密 钥 量 才 行 。 


7.2 数据 加 密 标准 (DES) 


1977 年 7 月 美国 国家 标准 局 公布 了 采纳 IBM 公司 设计 的 方案 作为 非 机 密 数据 的 正式 
数据 加 密 标准 (data encryption standard, DES)。DES 密码 是 一 种 采用 传统 加 密 方法 的 区 
组 密码 , 它 的 算法 是 对 称 的 , 既 可 用 于 加 密 又 可 用 于 解密 。 


7.2.1 换 位 和 替代 密码 


根据 加 密 时 对 明文 数据 的 处 理 方式 的 不 同 ,可 以 把 密码 分 为 换 位 密码 和 替代 密码 两 类 。 
换 位 密码 是 对 数据 中 的 字符 或 更 小 的 单位 (如 位 ) 重 新 组 织 , 但 并 不 改变 它们 本 身 。 替 代 密 
码 与 此 相反 , 它 改变 数据 中 的 字符 ,但 不 改变 它们 之 间 的 相对 位 置 。 

现代 编码 术 所 使 用 的 基本 方法 仍然 是 换 位 和 蔡 代 ,但 是 其 侧重 点 却 不 同 。 传 统 方法 中 
都 使 用 简单 的 算法 ,依靠 增加 密 钥 长 度 提 高 安全 性 。 现 在 则 是 把 加 密 算法 搞 得 尽 可 能 复杂 ， 
使 密码 分 析 员 即使 获得 大 量 密 文 , 也 无 法 破译 出 有 意义 的 明文 。 

换 位 和 替代 密码 可 使 用 简单 的 硬件 来 实现 。 如 图 7-3 的 硬件 可 实现 换 位 (简称 P 盒 ) 
加 密 , 其 输出 信息 序列 即 为 输入 信息 序列 的 一 个 重 排列 。n 位 P 盒 的 输入 与 输出 有 z! 种 
不 同 的 连接 方法 ,要 判明 P 盒 输入 的 第 i 位 对 应 于 输出 的 第 几 位 是 不 困难 的 。 只 要 将 第 i 
位 置 1, 其 余 各 位 都 置 0 送 入 P 盒 的 输入 端 ,看 输出 端的 哪 一 位 为 1 就 行 了 。 

图 7-4 表示 替代 (简称 S 盒 ) 加 密 , 其 输出 信息 序列 是 输入 信息 序列 的 替代 。S 盒 由 三 
级 构成 ,第 一 级 将 输入 的 二 进 制 数 转换 成 十 进 制 数 (n 位 的 二 进 制 数 可 以 转换 成 2 个 十 进 制 
数 ) 。 第 二 级 是 一 个 换 位 盒 (P 盒 ) ,用 来 进行 十 进 制 数 的 换 位 ,形成 一 个 排列 (有 2"! 种 可 能 
的 排列 ) 。 第 三 级 再 将 排列 的 结果 转换 成 二 进 制 数 输出 。 

S 盒 比 P 盒 复杂 ,因此 位 数 较 多 的 S 盒 很 难 实现 。 但 位 数 相同 时 ,S 盒 的 输入 输出 对 应 
关系 比 P 盒 多 ,因而 有 较 高 的 安全 性 。 例 如 在 z=4 时 ,P 盒 的 输入 输出 对 应 关系 只 有 
4! 王 24 种 ,S 盒 却 有 241! 王 16! 一 2X103 种 。 

单独 使 用 了 盒 或 位 数 较 少 的 S 盒 ,都 不 能 达到 较 高 的 安全 性 ,因为 人 们 可 以 比较 容易 
地 检测 出 它们 的 输入 输出 对 应 关系 。 但 车 交替 结合 使 用 这 两 者 , 则 可 以 大 大 提高 安全 性 。 
图 7-5 表示 由 15 位 的 P 盒 与 5 个 并 置 的 3 位 S 盒 所 组 成 的 7 层 硬 件 密码 产生 器 。 设 P 盒 
和 S 盒 的 输入 输出 对 应 关系 分 别 如 图 7-4 和 图 7-5 所 示 , 并 令 输 入 信息 的 最 低位 为 1, 其 余 
各 位 为 0, 则 在 该 密码 输出 端 将 出 现 图 示 的 信息 。 
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输入 | 输出 
第 i 位 | 第 /位 
15 7 
14 4 
13 12 
本 12 10 
输 输 11 15 
入 出 10 2 
数 数 9 11 
据 据 8 1 
7 9 
6 14 
5 6 
4 3 
3 8 
2 13 
1 5 
图 7-3 换 位 盒 (P 盒 7 
S 盒 

m3 2r=8 2"=8 
0 0 输入 | 输出 
1 000 | 101 
001 | 010 
1 010 | 100 
ol | ll 
| 100 | 000 
101 | 110 
110 | ol 
111 | oo0l 


图 7-4 替代 盒 (S 盒 ) 


0 P S 上 = P S P 

0 

0 

0 

0 S S 

0 
输 
入 0 站 | 
数 0 S S- [4 
据 。 

0 

0 S S 

0 

0 

0 

S S 
1 一 上 | | 


图 7-5 P 盒 和 S 盒 的 结合 使 用 
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这 里 每 层 S 盒 由 5 个 3 位 的 S 盒 并 联 构成 。 在 理论 上 它 也 可 以 由 唯一 一 个 15 位 的 
S 盒 形成 ,但 是 那 会 使 设备 的 第 二 级 需要 25 王 32768 根 交叉 线 , 这 在 工艺 上 是 无 法 实现 的 。 
因此 ,在 P 盒 与 S 盒 结合 使 用 时 ,S 盒 层 总 是 分 成 若干 个 位 数 较 少 的 S 盒 ,然后 把 它们 并 置 
在 一 起 。 


7.2.2 DES 密码 算法 


DES 密码 就 是 在 上 述 换 位 和 替代 密码 的 基础 上 发 展 的 。 图 7-6 为 其 算法 框图 ,将 输入 
明文 序列 分 成 区 组 ,每 组 64bit。 首 先 将 64bit 进行 初始 置换 


64 
IP。 置 换 规则 如 表 7-1 所 示 , 即 将 输入 的 第 58 位 置换 到 第 1 多 
位 输出 ,第 50 位 换 到 第 2 位 ,…… , 依 此 类 推 ,第 7 位 换 到 最 1 64 4 
后 一 位 等 。 初始 置换 IP 密 钥 源 
16 次 
表 7-1 初始 置换 表 IP i | 
58|50|42|34|26|18|10|2 16o|52|44|36|28|20|12|4 密码 运算 一 子 密 钥 


62|54|46|38|30|22|14|6 |64|56|48|40|32|24|16|8 1 64 
57|49|41|33|25|17|9|1|59|51|43|35|27|19|11|3 
64 
61|53|45|37|29|21|13|5|63|55|47|39|31|23|15|7 
然后 进行 密码 运算 , 它 是 在 密 钥 控制 下 的 16 步 非 线 性 图 7-6 DES 算 法 
变换 ,如 图 7-7 所 示 。 先 将 64bit 分 成 左右 两 组 各 32bit L。 
和 Ro ,迭代 运算 如 下 : 


L1=R, R=L,®fR,K) 
L: =R, R:=L:®/R,K,) 


Lis = Riss” Ri= Lan@ (Re Ry 
其 中 /(R;-1,K;) 是 密码 计算 函数 ,如 图 7-8 所 示 , 将 32bit R;_1 经 过 表 7-2 的 扩充 函数 下 变 
成 48bit, 与 48bit 的 子 密 钥 K; 按 位 模 2 加 ,再 经 8 个 S 盒 。 这 些 S 盒 的 功能 是 把 6bit 数 变 
换 成 4bit 数 , 奉 代 函 数 如 表 7-3 所 示 。 上 有 具体 做 法 是 以 6bit 数 中 的 第 1 和 第 6bit 组 成 的 二 进 
制 数 为 行 号 ,以 第 2、3、4、5bit 组 成 的 二 进 制 数 为 列 号 ,查找 Si ,行列 交叉 处 即 是 要 输出 的 
4bit 数 。 例 如 输入 Si 的 6bit 数 为 110010, 则 以 “10” 即 2 为 行 ,以 “1001” 即 9 为 列 ,输出 为 
12 即 *1100”。8 个 S 盒 的 输出 拼接 为 32bit 数据 区 组 ,最 后 经 P 盒 换 位 输出 , 换 位 函数 如 
表 7-4 所 示 。 
表 7-2 扩充 函数 


32 1 2 3 4 5 4 5 6 LA 8 9 
8 9 10 11 12 13 12 13 14 15 16 17 
16 17 18 19 20 21 20 21 22 23 24 25 


24 25 26 27 28 29 28 29 30 31 32 1 
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64 
2 人 一 人 32 
Lo Ro 
KI 
由 
Li=Ro Ri=Lo © f(Ro,Ki) 
高 
和 Ri1(32 密 钥 (64 
f 1(32) 了 ) 
Lj=R R=L ©® JRIK2) T 
一 一 一 一 一 计 
1 48bit K/(48) 
上 -2 - 
i 1 
Lis=Ri4| RD © f(Ris,K1s) 
Kie 
六 
Lie=RIs Rie=Lis ® f(Ris,Kie) 
64 
7-7 密码 运算 图 7-8 密码 计算 函数 f(R,K) 


16 个 子 密 钥 是 由 同一 个 64bit 的 密 钥 源 KK 二 hk,…kss 循 环 移 位 产生 。 密 钥 源 中 56bit 
是 随机 的 ,所 有 8 的 倍数 位 ks ,As ,… ,hot 是 为 奇偶 校 

验 而 设 。 图 7-9 为 计算 子 密 钥 的 流程 图 ,首先 对 了 人 

64bit 的 密 钥 源 进行 第 一 次 置换 选择 , 变 成 56bit ,置换 置换 选择 1 


选择 规则 如 表 7-5。 
然后 将 56bit 分 存 到 两 个 28bit 的 寄存 器 Cs 和 281 128 


Du 中 。 除 了 寄存 器 (C, ,D,) 外 ,还 有 16 对 寄存 器 , 即 LS。 Do 
(C1 ,D1),…,(Cis ,Dis)。 每 个 寄存 器 都 是 28bit。 加 ! 二 
密 时 ,寄存 器 (Ci+,D;+ ) 中 的 内 容 是 将 C; 和 D; 中 的 1 T 
内 容 分 别 向 左 移 1 一 2 位 得 到 的 。 而 且 这 种 移 位 方式 [a Di 
是 按 循环 移 位 寄存 器 方式 进行 , 即 从 寄存 器 左边 移出 。_ 浅 一 上 一 “| 转换 选择 2 一 


的 比特 ,又 从 右边 补 人 到 寄存 器 的 头 一 位 。 移 位 多 少 ”|[ 志 多 | [二 了 
与 寄存 器 的 位 置 ( 即 序号 ) 有 关 , 如 表 7-6 所 示 。 即 寄 。[ 蕊 
存 器 (Cu ,Du) 的 内 容 向 左 循 环 移 1 位 ,分 别 装 入 C, 和 mm K， 


Di。 而 Ci 和 Di 的 内 容 向 左 循环 移 1 位 分 别 装 入 Cs 左 移 
和 D;, 依 此 类 推 。 在 经 过 16 次 的 循环 移 位 后 ,一 共 
移 了 28 位 ,保证 了 Cu 一 Co,Die 王 Du。 从 Ci 和 DD; 的 
输出 拼接 成 的 56bit 再 经 第 二 次 置换 选择 就 得 到 了 
48bit 的 子 密 钥 K; ,置换 选择 2 如 表 7-7 所 示 。 图 7-9 密 钥 表 计 算 


-| 加 换 选 择 2 上 Ki 
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表 7-3 替代 函数 
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表 7-5 置换 选择 1 


57 49 41 33 25 17 9 1! 58 50 42 34 26 18 


10 2 59 51 43 35 27 19 11 3 60 52 44 36 


63 55 47 39 31 23 15 7 62 54 46 38 30 22 


14 6 61 53 45 37 29 21 13 5 28 20 12 4 


表 7-6 寄存 器 的 移 位 数 
寄存 器 序号 1 |213|14|5|16|7|8|9|10|11|12|13|14|15|16 
左 移 位 数 浊 攻 国医 -二 攻 局 医 避 医 动 医 二 医 滞 区 表 医 - 梧 医 二 医治 际 - 汪 了 医 避 医 司 医 ， 


表 7-7 置换 选择 2 
14 17 11 24 1 5 3 28 15 6 21 10 
23 19 12 4 26 8 16 人 27 20 13 2 
41 52 31 37 47 55 30 40 51 45 33 48 
44 49 39 56 34 53 46 42 50 36 29 32 


经 过 16 次 密码 运算 后 ,必须 再 进行 道 初始 置换 , 它 是 初始 置换 的 逆 变 换 。 这 样 就 保证 
了 加 密 和 解密 是 可 道 的 ,可 以 共用 同一 个 程序 或 硬件 ,只 是 所 用 子 密 钥 的 顺序 相反 而 已 。 如 
加 密 时 采用 Ki ,Ks,… ,Kys, 则 解密 时 就 用 Kis ,Kis ,… ,Ki。 首 置换 的 规则 如 表 7-8。 
表 7-8 逆 初 始 置换 
40 8|48|1|156|24|64|32|39|7 |47|15|55 | 23|63| 31 


38 6 46 14 54 22 62 30 37 5 45 13 53 21 61 29 


36 4 44 12 52 20 60 28 35 3 43 11 51 19 59 27 


34 2 42 10 50 18 58 26 33 L 41 9 49 17 57 25 


7.2.3 ”DES 密码 的 安全 性 


DES 的 出 现在 密码 学 史上 是 一 个 创举 。 以 前 的 任何 设计 者 对 于 密码 体制 及 其 设计 细 
节 都 是 严 加 保密 的 。 而 DES 算法 则 公开 发 表 , 任 人 测试 .研究 和 分 析 ,无 须 通过 许可 就 可 制 
作 DES 的 芯片 和 以 DES 为 基础 的 保密 设备 。DES 的 安全 性 完全 依赖 于 所 用 的 密 钥 。 

如 果 DES 算法 中 每 次 迭代 所 用 的 子 密 钥 都 相同 , 即 

KR 
就 称 给 定 的 密 钥 天 为 弱 密 钥 。 此 时 有 
DESk (DESk (x)) = xz, DESRCDESR(z)) 一 z 

即 以 K 对 xz 加 密 两 次 或 解密 两 次 都 恢复 出 明文 。 其 加 密 运 算 和 解密 运算 没有 区 别 。 而 对 
一 般 密 钥 只 满足 


DESR (DESk (x)) = DESk(DESR (x)) = zx 
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弱 密 钥 下 使 DES 在 选择 明文 攻击 下 的 搜索 量 减 半 。 

弱 密 钥 的 构造 由 子 密 钥 产生 器 中 寄存 器 C 和 了 中 的 存 数 在 循环 移 位 下 出 现 的 重复 
图 样 决定 的 ,参看 图 7-9。 若 C 和 DD 中 存 数 为 0 或 1 重复 28 次 的 图 样 , 即 (0,0,…,0) 或 
(1,1,…,1), 则 在 循环 左 移 位 下 保持 不 变 ,因而 相应 的 16 个 子 密 钥 都 相同 。 可 能 产生 弱 密 
钥 的 C 和 的 存 数 有 四 种 组 合 ,其 十 六 进 制 表示 为 

(0,0) > 00 00 00 00 00 00 00 
(0,15) 党 00 00 00 OF FF FF FF 
(15,0) >» FF FF FF Fo 00 00 00 
(15,15) «>» FF FF FF FF FF FF FF 
相应 的 输入 的 秘密 密 钥 K 的 十 六 进 制 表示 为 
(0,0) «=» 01 01 01 01 0l1 0l 01 ol 
(0,15) =» 1F IF IF IF 0E OE OE OE 
(15,0) = Eo0 E0 Eo0 Eo 1F 1F 1F 1F 
(15,15) >» FE FE FE FE FE FE FE FE 

若 给 定 的 密 钥 天 ,相应 的 16 个 子 密 钥 只 有 两 种 图 样 , 且 每 种 都 出 现 8 次 ,就 称 它 为 半 纶 
密 钥 。 半 弱 密 钥 的 特点 是 成 对 地 出 现 , 且 具有 下 述 性 质 : 若 K! 和 K; 为 一 对 互 逆 的 半 弱 密 
钥 ,z 为 明文 组 , 则 有 

DESk, (DESk, (z)) = DESk, (DESk, (z)) = zx 
称 Ki 和 Ks 是 互 为 对 合 的 。 若 寄存 器 C 和 DD 的 存 数 图 样 是 2 的 重复 数字 ,如 (0101…01) 
或 (1010…10), 则 这 种 图 样 对 于 偶 次 循环 移 位 具有 自封 闭 性 ,对 于 奇数 次 循环 具有 互 封 闭 
性 。 而 (00…0) 和 (11…1) 图 样 显然 也 具有 上 述 性 质 。 若 C 和 的 初 值 选 自 这 四 种 图 样 , 则 
所 产生 的 子 密 钥 就 会 只 有 两 种 ,而 每 种 都 出 现 8 次 。 可 能 的 组 合 有 4X4=16 个 ,其 中 有 4 
个 为 弱 密 钥 , 半 弱 密 钥 有 12 个 ,组 成 6 对 。 

如 果 随 机 地 选择 密 钥 , 则 在 总 数 2” 个 密 钥 中 , 弱 密 钥 所 占 比例 极 小 ,而 且 稍 加 注意 就 不 
难 避 开 。 因 此 , 弱 密 钥 的 存在 不 会 危及 DES 的 安全 性 。 

对 DES 安全 性 批评 意见 中 ,较为 一 致 的 看 法 是 DES 的 密 钥 短 了 些 ,IBM 最 初 向 NSA 
(美国 的 国家 安全 局 ) 提 交 的 建议 方案 采用 112bit 密 钥 , 但 公布 的 DES 标准 采用 64bit 密 
钥 。 有 人 认为 NSA 故意 限制 DES 的 密 钥 长 度 ,以 保证 他 自己 能 够 破译 ,但 其 他 预算 经 费 较 
少 的 单位 则 无 法 破译 。DES 的 密 钥 量 为 2” 二 7.2X10* 个 。 有 人 则 认为 56bit 已 足够 了 , 选 
择 长 的 密 钥 会 使 成 本 提高 .运行 速度 降低 。 若 要 对 DES 进行 密 钥 搜索 破译 ,分 析 者 在 得 到 
一 组 明文 一 一 密 文 对 条 件 下 ,可 对 明文 用 不 同 的 密 钥 加 密 ,直到 得 到 的 密 文 与 已 知 的 明 
文 一 一 密 文 对 中 的 相符 ,就 可 确定 所 用 的 密 钥 了 。 密 钥 搜 索 所 需 的 时 间 取 决 于 密 钥 空 间 的 
大 小 和 执行 一 次 加 密 所 需 的 时 间 。 若 假设 DES 加 密 操作 需 时 为 100ps (一般 微 处 理 器 能 实 
现 ), 则 搜索 整个 密 钥 空间 需 时 为 7.2X105s, 近 似 为 2.28X10s 年 。 若 以 最 快 的 LSI 器 件 ， 
DES 加 密 操 作 时 间 可 降 到 5ys, 也 要 1.1X10* 年 才能 穷尽 密 钥 。 

但 是 由 于 最 新 的 两 个 破译 法 一 一 差分 和 线性 密码 分 析 法 的 出 现 以 及 计算 机 技术 的 发 
展 ,在 1993 年 破译 DES 的 费用 为 100 万 美元 , 需 时 3. 5 小 时 。RSA 数据 安全 公司 为 破译 
DES 提供 10000 美元 奖金 。 现 已 被 DESCHALL 小 组 经 过 近 四 个 月 的 努力 ,通过 Internet 
搜索 了 了 3X10* 个 密 钥 , 找 出 了 DES 的 密 钥 ,恢复 出 明文 。1998 年 5 月 美国 EFF(electronic 
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frontier foundation) 宣 布 ,他 们 以 一 台 价值 20 万 美元 的 计算 机 改装 成 的 专用 解密 机 ,用 了 
56 小 时 破译 采用 56bit 密 钥 的 DES。 因 此 在 现 有 的 条 件 下 破译 56bit 密 钥 的 DES 已 经 是 完 
全 可 能 的 了 。 据 报道 ,美国 国家 标准 和 技术 协会 正在 征集 新 的 称 之 为 AES (advanced 
encryption standard) 加 密 标 准 ,新 算法 很 可 能 要 采用 128bit 密 钥 。 

自 DES 正式 成 为 美国 标准 以 来 ,已 有 许多 公司 设计 并 推出 了 实现 DES 算法 的 产品 。 
有 的 设计 专用 LSI 器 件 或 芯片 ,有 的 用 现成 的 微 处 理 器 实现 。 有 的 只 限于 实现 DES 算法 ， 
有 的 则 可 运行 各 种 工作 模式 。 对 于 器 件 所 提供 的 物理 保护 也 各 不 相同 ,从 没有 保护 的 单 片 
到 可 防 窜改 的 装置 。 美 国 NSA 至 少 已 认可 了 31 种 硬件 和 固件 实现 产品 ,每 年 平均 批准 
3 件 。 硬 件 实现 的 价格 为 1000 美元 左右 ,而 完整 的 加 密 机 为 3000 美元 左右 。 这 方面 其 他 
任何 算法 都 无 法 和 DES 竞争 。 


7.2.4 DES 密码 的 改进 


尽管 DES 算法 十 分 复杂 ,但 它 基本 上 还 是 采用 64bit 字符 的 单字 母 表 蔡 换 密码 。 当 同 
样 的 64bit 明文 块 进入 编码 器 后 ,得 到 的 是 同样 的 64bit 的 密 文 块 。 破 译 者 可 利用 这 个 性 质 
来 破译 DES。 

要 了 解 这 种 单字 母 蔡 换 码 的 缺点 ,下 面 可 举 一 个 例子 。 一 张 工资 表 中 共有 三 列 : 姓名 、 
职称 .工资 。 采 用 二 进 制 编码 ,姓名 16B(16X8bit) ,职称 和 工资 各 8B(8X8bit)。 用 DES 算 
法 对 这 张 工 资 表 进行 加 密 , 以 便 传 给 银行 ,将 正确 的 工资 数 打 入 每 个 员工 的 储蓄 卡 中 。 但 是 
若 有 人 想 筑 改 ( 调 换 或 替代 ), 则 是 非常 容易 的 事 。 由 于 每 位 员工 有 4 个 64bit 块 , 只 需 将 两 
人 的 第 3、4 个 64bit 密 文 块 调换 一 下 即 可 。 而 银行 在 解密 时 ,不 会 发 现 问题 。 

为 了 改进 DES 算 法 ,可 采用 密码 块 链接 的 方法 ,该 方法 适用 于 所 有 分 组 密码 。 如 图 7-10 
所 示 , 每 个 明文 块 在 加 密 之 前 都 与 前 一 个 密 文 块 进行 异 或 操作 ,如 第 一 个 明文 块 Mi 先 与 一 
个 随机 选择 的 初始 矢量 V 异 或 ,再 进行 加 密 得 到 密 文 块 C1; 将 Ci 与 Ms 异 或 ,再 进行 加 密 
得 到 密 文 块 C: ; …… 依 此 类 推 , 这 样 同一 个 明文 块 在 不 同位 置 就 会 生成 不 同 的 密 文 块 ,加 
密 不 再 是 一 个 单字 母 蔡 换 密码 ,如 果 密 文 块 移 位 后 ,就 会 导致 解密 时 明文 毫 无 意义 。 另 外 由 
于 同一 个 明文 块 不 会 生成 同一 个 密 文 块 ,这 也 给 密码 破译 者 带 来 了 困难 。 


M M M M, a G&G 6G G 


地 直击 遇 加! 
# # # # 密 钥 | D D D D 解密 箱 
| 这 


CI G Cs CG Mi M, Ms My 


图 7-10 ”密码 块 链接 


但 是 密码 块 链接 也 有 缺点 ,只 有 当 所 有 64bit 块 到 达 后 才能 开始 解码 。 如 果 使 用 交互 
式 终端 , 即 用 户 可 以 输入 少 于 8 字符 的 数据 行 , 然 后 停 下 来 等 待 响应 ,那么 这 种 方式 就 不 适 
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用 。 此 时 可 采用 按 字 节 加 密 的 方式 一 一 密码 反馈 方式 ,如 图 7-10 所 示 , 图 7-11(a) 中 显示 
了 当 字 节 0 一 9 被 加 密 及 发 送 后 加 密 机 的 状态 。 当 明文 的 第 10 个 字 节 Mi 到 达 时 ,DES 算 
法 对 64bit 的 移 位 寄存 器 内 容 进 行 加 密 , 生 成 64bit 的 密 文 , 读 取 密 文 最 左边 的 字 节 与 Mi。 异 
或 ,生成 密 文 Co 后 被 输出 。 同 时 移 位 寄存 器 左 移 8 位 ,Cs 从 最 左边 移出 ,Cw 填 入 到 Cs 右边 
的 空位 中 。 由 于 移 位 寄存 器 的 内 容 与 所 有 前 面 的 明文 有 关 , 所 以 内 容 相同 的 多 次 明文 将 产 
生 不 同 的 密 文 。 显 然 在 这 种 密码 块 链 接 中 ,也 需要 一 个 初始 矢量 。 


64 位 移 位 寄存 器 64 位 移 位 寄存 器 
Glololcslc lc, Icslcs eo |c cjclclcsjc lclc | 
Ai Nm 

1 ~ 1 » 
密 钥 一 =| E | 加 密 箱 Cio 密 钥 一 一 | £ | 加 密 箱 Cio 
| 1 
选择 最 左 字 节 选择 最 左 字 节 


(a) (b) 


图 7-11 密码 反馈 方式 


图 7-11(b) 是 这 种 加 密 方式 的 解密 过 程 ,要 恢复 原来 的 明文 Mio, 则 对 接收 到 的 Cio 进 
行 异 或 时 , 需 用 原来 的 加 密 字 节 。 也 就 是 说 ,解密 时 的 移 位 寄存 器 必须 与 加 密 时 的 移 位 寄存 
器 保持 一 致 ,对 它 产 生 的 64 位 也 进行 加 密 操 作 ,就 可 以 生成 原来 加 密 时 的 字 节 ,从 而 正确 解 
密 。 但 是 如 果 在 传输 过 程 中 ,有 某 一 位 密 文 发 生 错 误 , 则 当 这 一 字 节 在 移 位 寄存 器 中 时 , 解 
密 的 8 字 节 都 会 出 错 , 直 到 该 错误 字 节 移出 寄存 器 为 止 。 以 后 的 字 节 才 可 能 正确 解密 。 

为 了 解决 DES 中 的 密 钥 长 度 问题 ,实现 上 使 用 了 多 种 变异 ,其 中 最 出 名 的 一 种 为 三 重 
DES。 这 种 变异 是 用 不 同 的 密 钥 三 次 运行 DES 算法 。 尽 管 这 样 给 出 了 更 长 .更 有 效 的 密 钥 
长 度 ,由 56 位 增加 到 112 或 168 位 ,具有 更 高 的 安全 性 ,而 且 在 新 一 代 因 特 网 安全 标准 
IPSEC 协议 集中 已 将 DES 作为 加 密 标 准 。 但 相对 于 其 他 的 对 称 算 法 ,DES 的 速度 要 慢 一 
些 , 运 行 这 个 算法 三 次 将 会 使 速度 更 慢 ,严重 妨碍 了 实施 。 另 一 方面 ,基于 DES 算法 的 
加 /解密 硬件 目前 已 广泛 应 用 于 国内 外 卫星 通信 、 网 关 服 务 器 机顶盒 .视频 传输 以 及 其 他 大 
量 的 数据 传输 业务 中 ,利用 三 重 DES 可 以 使 原 系 统 不 作 大 的 改动 。 所 以 对 三 重 DES 的 研 
究 仍 有 很 大 的 现实 意义 。 


7.3 ”国际 数据 加 密 算法 


尽管 一 次 加 密 的 DES 仍然 广泛 应 用 于 保密 中 ,如 银行 的 自动 取款 机 (ATM)。 但 专家 
们 对 DES 不 安全 的 原因 作 了 大 量 的 分 析 , 认 为 这 种 方法 在 十 年 或 更 久 以 前 ( 当 它 刚 被 发 明 
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时 ) 是 很 适用 的 ,而 现在 已 不 再 能 满足 需要 。 人 们 开始 寻求 更 安全 的 块 密码 , 曾 提出 了 许多 
算法 ,其 中 最 令 人 感 兴趣 最 重要 的 就 是 国际 数据 加 密 算法 (intrenational data encryption 
algorithm,IDEA) 。 

IDEA 由 瑞士 的 两 名 科学 家 于 1990 年 提出 ,最 早 称 作 PES (proposed encryption 
standard) ,后 改称 为 IDEA, 于 1992 年 进行 了 改进 ,强化 了 抗 差分 攻击 法 的 能 力 。 


7.3.1 算法 原理 


输入 和 输出 字 长 为 64bit, 密 钥 长 128bit,8 轮 选 代 体制 。 采 用 下 述 几 种 基本 运算 ; 

(1) 逐 位 mod 2 和 , 记 作 @; 

(2) mod 2*( 即 65536) 整 数 加 , 记 作 四 

(3) mod(2* 十 1)( 即 65537) 整 数 乘 , 记 作 @; 

(4) 三 个 运算 中 任意 两 个 运算 不 满足 分 配 律 。 例 如 : 

aBLO F(aDD) OB 
(5) 三 个 运算 中 任意 两 个 运算 间 不 满足 结合 律 。 例 如 : 
a LO A (ADB)Oec 

以 上 的 (1)、(2)、(3) 三 种 运算 之 间 不 具 兼 容 性 。 这 些 运算 使 输入 之 间 实 现 了 较 复杂 的 

合 运 算 ,8 次 迭代 后 经 过 一 个 输出 变换 给 出 密 文 。IDEA 可 用 于 各 种 标准 工作 模式 。 实 现 
时 考虑 了 下 述 三 个 方面 : a 已 


(1) 基本 构件 一 一 乘 / 加 单元 。 实 现 16bit 为 字 长 的 非 

线性 S 盒 ,如 图 7-12 所 示 。 它 是 IDEA 实现 中 的 关键 非 线性 上 十 多 

构件 。 通 过 8 轮 迁 代 , 能 够 完成 更 好 的 扩散 和 混淆 。 研 究 表 

明 ,为 实现 完善 混淆 至 少 需要 4 轮 选 代 。 站 
(2) 硬件。 加密、 解密 运算 相似 ,差别 是 密 钥 时 间 表 ,类 1 

似 于 DES, 具 有 对 合 性 ,可 用 同一 器 件 实现 。 由 于 采用 规则 

的 模块 结构 ,易于 设计 ASIC 实现 。 和 
(3) 软件 。 采 用 子 段 结 构 : 以 16bit 为 字 长 进行 处 理 。 

采用 简单 运算 ,三 种 运算 易于 编程 实现 加 、 移 位 等。 Rs 


7.3.2 ”加 密 解密 过 程 


加 密 过 程 的 框图 如 图 7-13 和 图 7-14 所 示 。 它 由 两 部 分 组 成 : 一 个 是 对 输入 64bit 明文 
组 的 8 轮 迭 代 产 生 64bit 密 文 输出 ; 另 一 个 是 由 输入 的 128bit 会 话 密 钥 ,产生 8 轮 迭 代 所 需 
的 52 个 子 密 钥 , 共 52X16bit。 运 算 过 程 组 成 均 采用 16bit 。 

每 轮 的 迭代 过 程 如 图 7-15 所 示 ,每 次 迭代 所 用 密 钥 不 同 ,结构 相同 。 

输出 变换 如 图 7-16 所 示 ,主要 功能 是 保证 IDEA 整个 加 密 、 解 密 具 有 对 合 性 质 。 

子 密 钥 产 生 器 是 以 输入 的 8X16bit 会 话 密 钥 作为 前 8 个 子 密 钥 Ki ,K,,… ,Ks ,然后 将 
128bit 移 位 寄存 器 循环 左 移 25 位 .形成 子 密 钥 K, ,Kio,…, Ki ,如 图 7-17 所 示 。 重 复 移 位 
过 程 ,直到 给 出 子 密 钥 Ke ,Ka ,Ksi ,Kss。 这 种 迭代 每 轮 需要 6 个 子 密 钥 ,而 密 钥 产生 器 每 
轮 移 位 后 给 出 8 个 子 密 钥 , 所 以 IDEA 算法 中 每 轮 所 用 子 密 钥 将 从 128bit 会 话 密 钥 移 位 寄 
存 器 中 的 不 同位 置 取出 。 
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64bit 明 文 


适 代 1 


pub m" ps 


一 K 
迭代 2 


Kk, 


wT he Mw 


W273 74 
1 1 1 


-一 及 
迭代 8 Ee 
Ks 128bit 密 钥 K 
fs Pre P's js 
| 一 一 人 
输出 变换 Sy 
Ks 


yu bs bs bs 


图 7-13 IDEA 算法 框图 图 7-14 子 密 钥 生成 器 


WI Wy Wa Wa 


Kso |— Ks; 


Wil Wiz Wis Wia 


图 7-15 IDEA 的 一 次 迭代 过 程 图 7-16 IDEA 的 输出 变换 


K(128bit) 


KK KK KR KK 

Ks Ker Ko Ko Ku Ke Ka Ku Ks 
Ku Ka Ku Ku Ka Ku Ka Ka 
Ka Ku Ku Ku Ku Ks Ku Kn Ky 
一 一 Ka 一 一 Ka 一 一 Ko 一 一 Ka 一 一 Ko 一 一 Ko 一 -一 Ko 一 一 Kx 一 
一 Ka 一 一 Ko 一 一 Ka 一 一 Ku 一 一 Ke 一 -Ke 一 一 Ko 一 一 Ko 一 


一 Ko 一 一 Ko 一 一 Ka 一- 一 Ko 一 


图 7-17 IDEA 的 子 密 钥 


192 信息 论 与 编码 ( 第 3 版 ) 


IDEA 算法 的 解密 过 程 和 加 密 相同 ,只 是 解密 所 用 的 子 密 钥 与 加 密 子 密 钥 之 间 具 有 如 
表 7-9 给 出 的 关系 。 表 中 的 密 钥 满足 下 述 关系 
KK =1mod(2*+1) 
—K@K;=0 mod2" 


表 7-9 IDEA 加 密 、 解 密 子 密 钥 


顺 序 加 密 铀 解 密 钥 解密 钥 与 加 密 钥 的 关系 

第 1 轮 Ki,K:sKs,K,Ks,Ks Z1,2L2 2324,25 ,ZL6 Kw',—Kso,—Ks, Ks Ko Kae 
第 2 轮 天 ,Kas ,Ko ,Ko Ky ,Ks Z1 ,ZL8 ,L392Z10Z11 212 Ka',—Ks,—Kus Kw, Kas Ko 
第 3 轮 Kis, Ku Ks, Ke, Ky, Ks Z13 ,214 ,215 216 ,217 Ze Ka',—Kss,— Kae, Ki, Kss, Kse 
第 4 轮 Ks, Koo, Ka ,Kzs, Ks, Ks, 2 »Z20 1 Za1 » Zz Zz3 ZL24 Ka',—Kss,— Ks ,Ka , Kz, Kao 
第 5 轮 Kss» Kzs, Kzrs Kzss Kog, Kso Za5 »Z26 ,Za » Z28 » Zz9 + Z30 Ks! ,— Kz ,— Kzs, Ka, Kzs, Ko 
第 6 轮 Ka, Ksz, Kss ,Ka ,Kss, Kse Za ,Za ,Za ,Za ,235 1Z36 Kis',—Kz,— Kz Kai's Kis Ks 
第 7 轮 Ks ,Kss ,Kas ,Ko ,KK Za ,Za ,239 5Z40 Zu Zz Ki',—Kis,—Kus Ki ,Ku Ki 
第 8 轮 Ks, Ku Ks Ks Ko, Ks Ze ,Zu 1Z4s ZL46sZ47 Ze Ky's—=Kss— KoesKi' KK 
输出 置换 Ks» Ksos Ks » Ks: Ze ,Zoo ,Zi Za Ki',—K;,—Ks, Kr 


7.3.3 算法 的 安全 性 


如 果 采 用 穷 搜 索 破译 ,要 求 进行 28 一 108 次 试探 。 若 每 秒 可 完成 100 万 次 加 密 , 需 
103 年 ; 若 用 10* 个 ASIC 芯片 阵 需要 一 天 。 有 关 专 家 研究 表明 ,IDEA 算法 没有 似 DES 意 
义 下 的 弱 密 钥 ,8 轮 迭 代 使 得 没有 任何 捷径 破译 ,在 差分 和 线性 攻击 下 是 安全 的 。 当 然 若 将 
字 长 由 16bit 增加 到 32bit, 密 钥 相 应 长 256bit, 采 用 2* 模 加 ,2 十 1 模 乘 , 则 可 进一步 强化 
IDEA。 


7.4 公开 密 钥 加 密 法 


如 果 将 上 述 加 密 算法 用 于 电子 邮件 和 电子 资金 传送 时 ,因为 必须 把 密 钥 分 配给 许多 通 
信者 ,就 显示 出 不 足 。 密 钥 分 配 增加 了 暴露 报 文 或 截获 者 获得 报 文 的 危险 性 。 提 出 公开 密 
钥 加 密 法 (PKC) 使 用 两 个 不 同 密 钥 来 减 小 上 述 危 险 性 。 一 个 公开 作为 加 密 密 钥 , 另 一 个 为 
用 户 专用 ,作为 解密 密 钥 。 通 信 双 方 无 需 事先 交换 密 钥 就 可 进行 保密 通信 。 而 要 从 公开 的 
公 钥 或 密 文 分 析 前 后 明文 或 秘密 密 钥 ,在 计算 上 是 不 可 能 的 。 若 以 公开 密 钥 作 为 加 密 密 钥 ， 
以 用 户 专用 密 钥 作为 解密 密 钥 , 则 可 实现 多 个 用 户 加 密 的 消息 只 能 由 一 个 用 户 解读 ; 反之 ， 
以 用 户 专用 密 钥 作为 加 密 密 钥 ,而 以 公开 密 钥 作为 解密 密 钥 , 则 可 实现 由 一 个 用 户 加 密 的 消 
息 而 使 多 个 用 户 解 读 。 前 者 可 用 于 保密 通信 ,后 者 可 用 于 数字 签名 。 

PKC 算 法 的 成 功 在 于 加 密 函 数 的 单 向 性 , 即 求 逆 函 数 的 困难 性 。 即 使 知道 加 密 函 数 也 
不 可 能 导出 解密 函数 ,也 就 是 加 密 函 数 的 逆 函 数 。 
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PKC 使 用 特殊 的 数学 函数 , 称 为 单 向 穿 门 函 数 > 一 F(z)。 它 满足 这 些 特性 : 对 自 变 
量 z 的 任意 给 定 值 ,容易 计算 y= 二 F(z) 的 值 。@ 对 于 值 域 中 的 任意 > 值 ,即使 已 知 下 , 若 不 
知道 正 的 某 种 特殊 性 质 , 则 求解 其 对 应 的 z 值 仍然 是 计算 上 不 可 能 的 ; 若 知道 这 种 特殊 性 
质 ,就 容易 计算 出 工 值 。 因 此 这 种 特殊 性 质 是 很 重要 的 , 称 为 下 的 窍门"(trapdoor) 。 在 密 
码 体制 中 ,使 用 者 构造 出 有 关 单 向 函数 下 和 它 的 逆 函 数 下 "，。 单 向 函数 就 是 实际 上 的 加 密 
密 钥 , 可 公开 。 它 的 逆 函 数 就 是 解密 密 钥 ,不 公开 。 只 知道 公开 的 加 密 函 数 的 人 要 破译 密码 
体制 求解 逆 函 数 FF: ,这 是 计算 上 不 可 能 的 。 而 预定 的 接收 者 则 可 以 用 窍门 信息 (解密 密 钥 
KK) 简 单 地 求解 z==Fx!(y)。 


7.4.1 公开 密 钥 密码 体制 


在 公开 密 钥 密码 体制 中 ,用 户 A 要 公布 他 的 加 密 密 钥 (e 入 两 个 数 )。 如 图 7-18 所 示 
即 为 这 种 加 密 体制 。B 要 将 一 报 文 传 给 A ,首先 用 用 户 A 的 公开 加 密 密 钥 对 明文 M 加 密 ， 
将 密 文 C 传 给 用 户 A。 用 户 A 用 自己 的 秘密 解密 密 钥 对 密 文 C 解密 即 可 得 到 明文 M。 其 
他 人 由 于 不 知道 用 户 A 的 解密 密 钥 , 即 使 得 到 密 文 也 无 法 解读 。 图 7-18 中 e 和 为 加 密 密 
钥 ,d 和 nn 为 解密 密 钥 , 均 为 正 整 数 。 
公开 加 密 密 名 秘密 解密 密 钥 


Blen) Bld,n) 
A(en) A(dn) 


有 发 到 4 (Ce) Mfen lc -(4) 
4 接收 8 (=[c] 一 -Leo 
4 发 到 B (OD—| mp 
8 接收 4 (8) 一 | [aD [a] 
7-18 ”使 用 公开 密 钥 密码 体制 的 加 密 、 解 密 方 法 


公开 密 钥 密码 体制 的 男 一 个 用 途 是 在 电子 邮政 和 电子 资金 传送 领域 内 的 报 文 签名 。 这 
种 签名 能 使 发 送 者 确认 接收 者 的 合法 性 。 如 图 7-19 所 示 , 用 户 B 用 自己 的 秘密 解密 密 钥 
将 明文 M 进行 加 密 得 到 密 文 S, 这 代表 发 送 者 B 的 签名 ,因为 别人 是 无 法 制造 出 这 样 的 密 
文 S 的 。B 再 用 接收 者 A 的 公开 加 密 密 钥 进行 加 密 得 到 双重 加 密 的 密 文 C , 发 送 给 用 户 A。 
A 收 到 双重 密 文 C 后 , 先 用 自己 的 秘密 解密 密 钥 进行 解密 得 到 一 次 密 文 5, 再 用 用 户 B 的 
公开 加 密 密 钥 解 出 原始 明文 M。 若 不 是 B 签发 的 密 文 ,用 用 户 B 的 公开 加 密 密 钥 是 解 不 开 
密 文 S 的 。 


|s 
了 


公开 加 密 密 钥 秘密 解密 密 钥 
Bl(e,n) Bldn) 
Ale,n) A(an) 


8 发 到 4 (BM en -EL 起 


4 收 到 B (A [eH Nan sen HM 


图 7-19 使 用 公开 密 钥 密码 体制 签名 方式 
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7.4.2 RSA 密码 体制 


RSA 体制 是 根据 PKC 算法 由 美国 麻 省 理工 学 院 (MIT) 的 研究 小 组 提出 的 ,该 体制 的 
名 称 是 用 了 三 位 作者 (Rivest、Shamir 和 Adleman) 英 文 名 字 的 第 一 个 字母 拼合 而 成 。 该 体 
制 的 理论 基础 是 数论 中 的 下 述 论 断 : 要 求 得 到 两 个 大 素数 (如 大 到 100 位 ) 的 乘积 在 计算 机 
上 很 容易 实现 ,但 要 分 解 两 个 大 素数 的 乘积 ( 即 从 乘积 求 它 的 两 个 素 因子 ) 在 计算 上 几乎 不 
可 能 实现 , 即 为 单 向 函数 。 
RSA 体制 的 加 密 过 程 通过 三 个 数 e、d、n 来 实现 。 
加 密 时 : y= 二 xz“( mod n) 
解密 时 : z 一 (mod n) 
上 面 同 余 方程 ( 即 方程 两 边 余 数 相等 ) 的 意思 是 ,加 密 时 将 明文 x 自 乘 e 次 ,然后 除 以 模 数 
,余数 便 是 密 文 y; 解密 运算 是 将 密 文 > 自 乘 d 次 ,再 除 以 ,余数 便 是 明文 x。 
在 设计 过 程 中 ,需要 两 个 密 钥 ,一 个 公开 密 钥 (e,n) ,一 个 秘密 密 钥 (d,n)。 具 体 做 法 
如 下 : 
(1) 选取 两 个 很 大 的 素数 p 和 qd , 令 模 数 zx 一 户 Xd; 
(2) 求 nn 的 欧 拉 函数 (nn) 二 (p 一 1)X(g 一 1), 并 从 2 至 [8B(n) 一 1] 中 任 选 一 个 数 作为 
加 密 指数 e; 
(3) 解 同 余 方程 (eXd)( mod BCz) ) 王 1, 求 得 解密 指数 d; 
(4) (e,n) 即 为 公开 密 钥 ,(d,n) 即 为 秘密 密 钥 。 
某 用 户 可 将 加 密 密 钥 (e,n) 公 开 , 而 解密 密 钥 (d,n) 和 构成 的 两 个 因子 p、g 是 保密 
的 。 任 何其 他 人 都 可 用 公开 密 钥 (e,n) 对 该 用 户 通 信 , 只 有 掌握 解密 密 钥 的 人 才能 解密 ,其 
他 人 在 不 知道 p 和 g 的 情况 下 不 可 能 根据 已 知 的 e 推算 出 a。 
例 7-1 在 RSA 方 法 中 , 令 p==3,g==17, 取 e==5, 试 计算 解密 密 钥 d 并 加 密 M=2。 
解 : n= 二 pXg=51 
$n)=(p—1)X(g—1)=32 
(5Xd)mod 32 二 1, 可 解 得 d 二 13 
FF 是 y=x* mod n=25 mod 51 一 32 
验算 y% mod n= 二 32* mod 51 一 2 一 工 
若 需 发 送 的 报 文 内 容 是 用 英文 或 其 他 文字 表示 的 , 则 可 先 将 文字 转换 成 等 效 的 数字 ,再 
进行 加 密 运算 。 
RSA 体制 在 用 于 数字 签名 时 ,发 送 者 为 A ,接收 者 为 B, 具 体 做 法 如 图 7-20 所 示 。 


(dm) (epns) (dpns) (ena) 
M, 5S, 一 S 8; MM, 


7-20 ”RSA 公开 密 钥 体制 签名 略图 


(1) 发 送 者 A 用 自己 的 秘密 解密 密 钥 (ds ,na) 计 算 签名 : S 一 Mia mod mA 

(2) 用 接收 者 的 公开 加 密 密 钥 (es ,ns) 再 次 加 密 : S 一 Sia mod ma。 

(3) 接收 者 用 自己 的 秘密 解密 密 钥 (da ,ns) 计 算 : S; 二 Ss mod ns。 

(4) 查 发 送 者 的 公开 密 钥 (ea ,na) ,计算 : Mi 二 Sh mod ma ,恢复 出 发 送 者 的 签名 ,认证 
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密 文 的 来 源 。 

例 7-2 用 户 A 发 送 给 用 户 了 3 一 份 密 文 ,用户 A 用 首 字母 B= 二 02 来 签署 密 文 。 用 户 A 
知道 三 个 密 钥 : 自己 的 公开 加 密 密 钥 、 秘 密 解密 密 钥 和 接收 者 的 公开 加 密 密 钥 。 

A B 

公开 密 钥 (e,n) (C72 (13,51) 

秘密 密 钥 Cd ,n) (23,123) 

A 计算 他 的 签名 : S; 二 Mis mod na 二 (02)”(mod 123) 一 8388608Cmod 123) 一 8 

再 次 加 密 签名 : S= Sia mod ng 二 8*(mod 51) 二 549755813888(mod 51) 二 26 

接收 者 B 必须 恢复 出 02==B 认证 他 接收 的 密 文 。 接 收 者 也 知道 三 个 密 钥 : 两 个 公开 


加 密 密 钥 和 自己 的 秘密 解密 密 钥 。 
A B 
公开 密 钥 (e,n) (C75123) (13,51) 
秘密 密 钥 (4d ,n) (5>551) 


用 户 B 用 自己 的 秘密 解密 密 钥 一 次 解密 : 
S; = Sa mod ns = 26(mod 51) = 11881376(mod 51) = 8 
再 用 用 户 A 的 公开 密 钥 解 密 : 
Mi = Si mod na = 8’ (mod 123) = 2097153(mod 123) = 2 
结果 Mi 二 2, 就 是 B= 二 02 值 ,可 以 确认 密 文 的 发 送 者 是 A, 用 户 B 能 够 确信 这 点 ,是 因为 只 
有 用 户 A 具有 秘密 的 解密 密 钥 (ds ,na), 只 有 A 自己 能 生成 用 他 的 公开 密 钥 (ea ,na ) 能 够 解 
密 的 密 文 。 
RSA 方法 中 ,由 于 不 能 由 模 简单 地 求 得 @(n) ,也 无 法 简单 地 由 e 推算 4 ,因而 e 入 
可 以 公开 ,而 不 会 泄露 8(n) 和 dd。 机密 核心 在 于 秘密 密 钥 d, 一 旦 d 失 穷 ,别人 也 就 穷 得 了 
相应 的 被 加 密 信息 。 因 此 ,必须 对 秘密 密 钥 d 采取 防 窃 措施 。 
一 个 现代 密码 体制 必须 能 经 得 住 训练 有 素 的 密码 分 析 家 借助 计算 机 寻找 秘密 密 钥 的 攻 
击 或 用 某 些 其 他 方法 试 破 密 文 的 攻击 。 在 RSA 体制 中 ,如 果 密 码 分 析 家 (知道 公开 密 钥 
入 ) 能 把 分 解 成 p 和 gq, 那么 他 就 可 以 计算 出 B(n) ,接着 找 出 秘密 密 钥 分 量 4 。 
例如 ,公开 密 钥 为 (5,51) ,xz 一 51 的 因数 只 有 3 和 表 7-10 ” 密 钥 长 度 


17。 这 样 小 的 很 容易 被 分 解 并 找 出 秘密 密 钥 一 一 一 一 一 一 一 一 一 一 
Cd。 当前 的 技术 进展 使 分 解 算法 和 计算 能 力 在 不 户 密 外 体制/oi | RSA 体制 /bit 
断 提高 ,计算 所 需 的 硬件 费用 在 不 断 下 降 ,110 位 十 进 

制 数字 早已 能 分 解 。 表 7-10 给 出 以 NSF 算法 破译 80 768 

RSA 体制 与 穷 搜 索 密 钥 法 破译 单 密 钥 体制 的 等 价 密 这 hg 

钥 长 度 。 因 此 今天 要 用 RSA, 需 要 采用 足够 大 的 整 128 2304 


数 ，。 

512bit(154 位 )、664bit(200 位 ) 已 有 实用 产品 ,也 有 人 想 用 1024bit 的 模 , 若 以 每 秒 可 进 
行 100 万 步 的 计算 资源 分 解 664bit 大 整数 ,需要 完成 10” 步 , 即 要 用 1000 年 。 据 研究 
1024bit 模 在 今后 10 年 内 足够 安全 ,而 150 位 数 将 在 本 世纪 被 分 解 。 目 前 512bit 模 在 短期 
内 仍 十 分 安全 ,但 大 素数 分 解 工 作 在 网 上 大 协作 已 构成 对 512bit 模 RSA 的 严重 威胁 ,很 快 
可 能 要 采用 768bit 甚至 1024bit 的 模 。 
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RSA 算法 的 硬件 实现 速度 很 慢 ,最 快 也 只 有 DES 的 1/1000,512bit 模 下 的 VLSI 硬件 
实现 只 达 64kbit/s。 目 前 计划 开发 512bit RSA 达 1Mbit/s 的 芯片 。 软 件 实现 的 RSA 的 速 
度 只 有 DES 的 软件 实现 的 1/100, 在 速度 上 RSA 无 法 与 对 称 密 钥 体制 相 比 ,因而 RSA 体制 
多 用 于 密 钥 交换 和 认证 。512bit RSA 的 软件 实现 的 速率 可 达 11kbit/s。 


7.4.3 报 文 摘要 


这 种 方案 基于 单 向 散 列 (Hash) 函数 的 思想 ,该 函数 从 一 段 很 长 的 报 文中 计算 出 一 个 固 
定 长 度 的 比特 串 ,作为 该 报 文 的 摘要 (message digest) 。 它 具有 下 列 重 要 性 质 : 

(1) 给 出 报 文 P 就 易于 计算 出 报 文摘 要 MD(P); 

(2) 只 给 出 MDCP) ,几乎 无 法 找 出 P; 

(3) 无 法 生成 两 条 具有 同样 报 文摘 要 的 报 文 ( 即 不 可 伪造 摘要 ) 。 

从 一 段 明文 中 计算 一 段 报 文摘 要 比 用 公开 密 钥 算法 加 密 明 文 要 快 得 多 ,因此 采用 报 文 
摘要 节省 了 加 密 时 间 , 同 时 也 节省 了 报 文 传输 和 存储 的 开销 。 首 先 用 户 A 计算 明文 信息 的 
报 文摘 要 ,然后 在 报 文摘 要 上 签名 ,并 将 签名 的 摘要 和 明文 一 起 发 送 给 用 户 B。 如 果 第 三 者 
替换 了 忆 , 当 用 户 B 计算 MD(P) 时 就 会 发 现 这 一 点 。 

1. MD5 算法 

目前 已 提出 多 种 报 文摘 要 ,应 用 最 广 的 一 种 是 MD5。 输 入 报 文 的 长 度 是 任意 的 ,而 输 
出 的 报 文摘 要 长 度 固定 为 128bit。 它 以 一 种 充分 复杂 的 方式 将 各 比特 打 乱 ,每 个 输出 比特 
都 受 每 一 个 输入 比特 的 影响 。 下 面 介绍 MD5 的 算法 ,如 图 7-21 所 示 为 产生 报 文摘 要 的 全 
过 程 。 

(1) 在 原 报 文 长 度 民 后 添加 若干 比特 ,使 其 长 度 比 512 的 整数 倍 少 64。 如 果 有 些 报 文 
的 长 度 已 经 达到 要 求 , 但 还 是 必须 添加 。 例 如 原 报 文 长 度 为 448, 则 需要 添加 512X2 一 64 一 
512bit。 因 此 添加 长 度 的 范围 在 1 一 512 之 间 ,添加 的 内 容 是 第 一 位 为 1, 其余 为 0。 

(2) 用 64bit 表示 原 报 文 的 长 度 KK, 再 添加 在 后 面 。 如 果 原 报 文 的 长 度 大 于 2% , 则 仅 表 
示 KK mod 2% 的 余数 。 

这 样 经 过 上 述 两 步 的 添加 ,其 长 度 就 为 512 的 整数 倍 了 。 图 7-21 中 用 YY ,Yi ,… ,YL 
分 别 表 示 512bit 块 。 为 了 便于 在 32 位 的 机 器 上 运算 ,每 块 可 用 16 个 32 位 字 表 示 , 共 N= 


16X< 瑟 个 。 
添加 1~ 512bit 。” 报 文 长 度 KKmod 264 
= X512bit =NX 32bit ~ / 
Kbit 一 
报 文 | 1oo…0 | 
S12bit S12bit S12bit S12bit 
7 a 二 a 
EE Fs» st fs» 
ABCD A Huos [| Hyps | Hos | Huwws 上 一 
128 128 128 128 128bit 报 文摘 要 


7-21 采用 MD5 算法 产生 报 文摘 要 
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(3) 依次 对 工 组 512bit 块 进行 处 理 , 算 法 的 核心 是 万 wps 模块 。 用 128bit 的 存储 器 来 存 
放 散 列 (hash) 函数 的 中 间 结 果 和 最 终结 果 , 由 4 个 32 位 寄存 器 A、.B、C、D 组 成 ,它们 的 初 
始 存放 数 用 十 六 进 制 表示 为 A = 01234567, B 二 89AABCDEF, C = FEDCBA98， 
D=76543210。 

(4) 理 wos 模 块 的 处 理 过 程 如 图 7-22 所 示 , 有 4 轮 运算 。Y, 表 示 输 入 的 第 g 组 512bit， 
g 二 0,1,… ,LL 一 1, 每 轮 使 用 一 次 。T[1,…,64] 为 64 个 元 素 表 , 分 成 4 组 参与 不 同 轮 的 计 
算 ,T[ 门 为 22 Xabs[sin(i] 的 32 位 二 进 制 整数 部 分 ,i 是 弧度 ,其 数值 如 表 7-11 所 示 。 该 
32bit 是 将 输入 数据 打 乱 ,随机 化 。MD, 为 寄存 器 ABCD 的 中 间 结 果 , MD。 是 初始 化 值 ， 
MD 是 最 终 的 报 文摘 要 结果 。 

(5) 4 轮 运算 的 结构 类 似 , 如 图 7-23 所 示 ,运算 关系 如 下 式 : 

A<—B+CLS,{A+g(BCD) + X[k]+ TCi]} (7-4-1) 

式 中 A、B.C.D 为 寄存 器 的 内 容 ,g 为 基本 逻辑 函数 F.G、 互 .J 中 之 一 ,每 轮 用 一 种 。CLS 将 
32bit 数 循环 左 移 位 。XLAJ 是 第 g 组 512bit 中 第 上 个 32 位 字 ,k 二 1,2,…,16, 因 此 式 (7-4-1) 
的 迭代 运算 需要 16 次 。 函 数 FR.G、 甩 、J 的 逻辑 关系 不 同 ,函数 定义 式 如 表 7-12 所 示 ， 
表 7-13 为 逻辑 真 值 表 。 


MD, 
?十 128 


Ls 41 pt ct Df 32 


广 一 一 | 4,B8,C.D ~ fr(4,B,C,D, ya,T[1:… 16]) 


A BI CT DY 
— 4,B,C,D — f(A,B,C,D,Y,T[17 …32]) 


A BYCY DE 
上 一 一 | 4.B8.CD 一 万 (4.B.C.D, 防 ,7[33 …48]) 


4 BI C1 DY 
4.B,C.D ~ 1,(4.B,C,D, ¥,,T[49 …64]) 


MD 128 


7-22 处理 512bit 块 的 算法 Huos 7-23 式 (7-4-1) 运 算 图 
上 述 图 中 的 “十 ” 均 表 示 模 22 加 法 。 


表 7-11 从 sine 函数 构造 的 T 表 


T[1]=D76AA478 


T[6]=4787C62A 


T[11]=FFFF5BBl 


T[16]=49B40821 


T[2]=E8C7B756 


T[7]=A8304613 


T[12]=895CD7BE 


T[17]=F61E2562 


T[3]=242070DB 


T[L8]=FD469501 


T[13]=6B901122 


T[18]=C0408340 


T[4]=ClBDCEEE 


T[9]=698098D8 


T[14]=FD987193 


T[19]=265E5A51 


T[5]=F57COFAF 


T[10]=8B44F7AF 


T[15]=A679438E 


TL[20]=E9B6C7AA 
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续 表 
T[21]=D62F105D T[32]=8D2A4C8A T[43]=D4EF3085 T[54] 一 8FOCCC92 
T[22]=02441453 T[33]=FFFA3942 TL44] 一 04881D05 TL55] 王 FFEFF47D 
T[23]=D8AlE681 T[34] 一 8771F681 T[45]=D9D4D039 T[56]=85845DD1 
T[24]=E7D3FBC8 T[35]=69D96122 T[46]=E6DB99E5 T[57]=6FA87E4F 
T[25]=21E1CDE6 T[36]=FDE5380C T[47]=1FA27CF8 T[58]=FE2CE6E0 
T[26]=C33707D6 T[37]= A4BEEA44 T[48]=C4AC5665 T[59]=A3014314 
T[27]=F4D50D87 T[38]=4BDECFA9 T[49]=F4292244 T[60]=4E0811Al 
T[28]=455A14ED T[39]=F6BB4B60 T[50]=C32AFF97 T[61]=F7537E82 
T[29]=49E3E905 T[40]=BEBFBC70 T[51]=AB9423A7 T[62]=BD3AF235 
T[30]=FCEFA3F8 T[41]=289B7EC6 T[52]=FC93A039 T[63]=2AD7D2BB 
T[31]=676F02D9 T[42]=EAA127FA T[53]=655B59C3 T[64]=EB86D391 


表 7-12 基本 函数 的 逻辑 运算 关系 


轮 基本 函数 g g(B,C,D) 
fr F(B,C,D) (B». OV(B.D) 
fo G(B,C,D) (B.D)V(C.D) 
Fh H(B,C,D) BAOCOD 
fi I(B,C,D) CO@(B.D) 


表 7-13 ”基本 函数 的 真 值 表 


一 一 一 一 口 口 口 口 | 邓 
mrmoeooeormrmoeoeoceloao 


moreroeoero5 


~ OOP~“ oO 

oo-~-oolQn 
~oo~o~~ oI 
Oo ~ oOo-|~ 


2. MD5 的 安全 性 

安全 的 Hash 函数 在 设计 时 必须 满足 两 个 要 求 : 其 一 是 寻找 两 个 输入 ,得 到 相同 的 输 
出 值 在 计算 上 是 不 可 行 的 ,这 就 是 通常 所 说 的 抗 碰撞 的 ; 其 二 是 找 一 个 输入 ,能 得 到 给 定 的 
输出 在 计算 上 是 不 可 行 的 , 即 不 可 从 结果 推导 出 它 的 初始 状态 。 现 在 使 用 的 重要 计算 机 安 
全 协议 ,如 SSL,PGP 都 用 Hash 函数 来 进行 签名 ,一 旦 找到 两 个 文件 可 以 产生 相同 的 报 文 
摘要 ,就 可 以 伪造 签名 ,给 网 络 安全 领域 带 来 巨大 隐患 。 

MD5 就 是 这 样 一 个 在 国内 外 有 着 广泛 应 用 的 Hash 函数 算法 , 它 曾 一 度 被 认为 是 非常 
安全 的 。 然 而 ,2004 年 山东 大 学 的 王小云 教授 在 国际 密码 学 会 议 (Crypto 2004) 上 公布 了 
MD 系列 算法 的 破解 结果 ,可 以 很 快 找到 MD5 的 “碰撞 ”, 就 是 两 个 文件 可 以 产生 相同 的 报 
文摘 要 。 这 意味 着 , 当 你 在 网 络 上 使 用 电子 签名 签署 一 份 合同 后 ,还 可 能 找到 另外 一 份 具有 
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相同 签名 但 内 容 凶 异 的 合同 ,这 样 两 份 合同 的 真 伪 性 便 无 从 辨别 。 王 教授 的 研究 成 果 证 实 
了 利用 MD5 算法 的 碰撞 可 以 严重 威胁 信息 系统 安全 ,这 一 发 现 使 目前 电子 签名 的 法 律 效 
力 和 技术 体系 受到 挑战 ,引起 了 世界 密码 学 界 的 高 度 重 视 。 

针对 王小云 教授 等 破译 的 以 MD5 为 代表 的 Hash 函数 算法 的 报告 ,美国 国家 技术 与 标 
准 局 (NIST) 于 2004 年 8 月 24 日 发 表 专门 评论 ,主要 内 容 为 : 在 最 近 的 国际 密码 学 会 议 
上 ,研究 人 员 宣 布 他 们 发 现 了 破解 数 种 Hash 算法 的 方法 ,其 中 包括 MD4、MD5、HAVAL- 
128、RIPEMD 还 有 SHA-0。 分 析 表 明 , 于 1994 年 替代 SHA-0 成 为 联邦 信息 处 理 标 准 的 
SHA-1 的 减弱 条 件 的 变种 算法 能 够 被 破解 ; 但 完整 的 SHA-1 并 没有 被 破解 ,也 没有 找到 
SHA-1 的 碰撞 。 研 究 结果 说 明 SHA-1 的 安全 性 暂时 没有 问题 ,但 随 着 技术 的 发 展 ,技术 与 
标准 局 计划 在 2010 年 之 前 逐步 淘汰 SHA-1, 换 用 其 他 更 长 更 安全 的 算法 (如 SHA-224、 
SHA-256、SHA-384 和 SHA-512) 来 替代 。 


7.4.4 公开 密码 体制 的 优 缺 点 


在 传统 的 密码 体制 中 ,由 于 加 密 密 钥 和 解密 密 钥 可 以 简单 地 互 导 , 因 此 密 钥 必须 首先 经 
由 安全 通道 分 发 给 通信 双方 ,随后 才能 利用 公开 通道 建立 起 安全 通信 ,因而 密 钥 分 配 问题 是 
传统 密码 体制 的 薄弱 环节 。 公 开 密 钥 密码 体制 不 存在 这 个 问题 ,所 以 特别 适合 于 在 计算 机 
网 络 中 建立 分 散 于 各 地 的 用 户 之 间 的 秘密 通信 联系 。 

与 传统 密码 体制 相 比 ,公开 密码 体制 的 优点 是 : 

(1) 减少 了 密 钥 数量 。 这 对 于 多 用 户 的 商用 密码 通信 系统 和 计算 机 通信 网 络 具有 十 分 
重要 的 意义 。 如 前 所 述 ,在 个 用 户 的 密码 系统 中 ,采用 传统 密码 体制 ,需要 n(n 一 1)/2 个 
密 钥 。 采 用 公 钥 密码 体制 ,只 需要 n 对 密 钥 , 而 真正 需要 严 加 保管 的 只 有 用 户 自己 的 秘密 
密 钥 。 

(2) 彻底 消除 了 经 特殊 保密 的 密 钥 信道 分 送 密 钥 的 困难 ,消除 了 密 钥 在 分 送 过 程 中 被 
窃 的 可 能 性 ,大 大 提高 了 密码 体制 的 安全 性 。 

(3) 便于 实现 数字 签名 ,完满 地 解决 了 对 发 方 和 收 方 的 证 实 问题 ,彻底 解决 了 发 . 收 双 
方 就 传送 内 容 可 能 发 生 的 争端 ,为 在 商业 上 广泛 应 用 创造 了 条 件 。 

在 目前 , 公 钥 密码 体制 的 缺点 也 是 显然 的 , 它 的 工作 基础 是 利用 了 单 向 函数 的 单 向 性 ， 
一 般 说 来 加 密 和 解密 要 经 过 较 复 杂 的 计算 过 程 ,而 传统 密码 体制 算法 较 简 单 ,可 采用 大 规模 
集成 电路 实现 。 因 此 , 公 钥 密码 体制 对 信息 加 密 和 解密 的 工作 速率 还 远 低 于 传统 密码 体制 。 
但 由 于 公 钥 密码 体制 彻底 克服 了 传统 体制 在 密 钥 分 送 和 保存 上 的 巨大 困难 , 且 能 实现 加 密 
信息 的 电子 签名 ,显示 了 美好 的 发 展 前 景 ,可 以 预料 随 着 密码 学 的 进一步 发 展 , 公 钥 密码 体 
制 一 定 会 获得 广泛 应 用 。 

随 着 加 密 技 术 的 不 断 发 展 ,近期 呈现 下 列 几 种 趋势 : 

(1) 私 用 密 钥 加 密 技术 与 公开 密 钥 加 密 技 术 相 结 合 。 鉴 于 两 种 密码 体制 加 密 的 特点 ， 
在 实际 应 用 中 可 以 采用 折 中 方案 , 即 结合 使 用 DES/IDEA 和 RSA, 以 DES 为 “内 核 ”,RSA 
为 “外 壳 ”, 对 于 网 络 中 传输 的 数据 可 用 DES 或 IDEA 加 密 , 而 加 密 用 的 密 钥 则 用 RSA 加 密 
传送 ,此 种 方法 既 保 证 了 数据 安全 又 提高 了 加 密 和 解密 的 速度 。 

(2) 寻求 新 算法 。 跳 出 以 常见 的 迭代 为 基础 的 构造 思路 ,脱离 基于 某 些 数 学 问题 复杂 
性 的 构造 方法 。 如 基于 密 钥 的 公开 密 钥 体 制 ,采用 随机 性 原理 构造 加 解密 变换 ,并 将 其 全 部 
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运算 控制 隐匿 于 密 钥 中 , 密 钥 长 度 可 变 。 它 是 采用 选取 一 定 长 度 的 分 割 来 构造 大 的 搜索 空 
间 , 从 而 实现 一 次 非 线 性 变换 。 此 种 加 密 算法 加 密 强度 高 ,速度 快 . 计 算 开 销 低 。 

(3) 加 密 最 终 将 被 集成 到 系统 和 网 络 中 。 例 如 IPv6 协议 就 已 有 了 内 置 加 密 的 支持 ,在 
硬件 方面 ,Intel 公司 正 研制 一 种 加 密 协 处 理 器 , 它 可 以 集成 到 微机 的 主板 上 。 


7.5 通信 网 络 中 的 加 密 


通信 网 络 加 密 技术 是 随 着 通信 技术 、 密 码 技术 和 通信 保密 需求 的 不 断 提升 而 逐步 发 展 
的 。 按 照 通 信 手 段 不 同 ,通信 加 密 技术 可 分 为 无 线 电台 通信 加 密 系统 、 微 波 通信 加 密 系统 、 
卫星 通信 加 密 系统 、 光 纤 通 信 加 密 系统 、 移 动 通 信 加 密 系统 和 数据 通信 加 密 系统 等 。 按 照 加 
密 方式 分 为 信 源 加 密 系统 、 信 道 加 密 系统 和 信 宿 加 密 系统 等 。 对 于 信息 保密 度 要 求 极 高 的 
通信 系统 ,通常 采用 多 种 方法 复合 加 密 的 方式 。 按 照 对 信号 的 处 理 方式 不 同 , 通 信 加 密 技 术 
可 分 为 模拟 通信 加 密 技 术 和 数字 通信 加 密 技术 。 


7.5.1 模拟 通信 加 密 


当 加密 信 号 为 模拟 信号 时 ,加 密 也 称 为 署 乱 , 就 是 通过 某 种 手段 把 可 以 轻易 搞 懂 的 信息 
变换 为 很 难 理解 甚至 不 可 理解 的 信息 ,必须 在 一 定 条 件 下 借助 于 某 种 手段 才能 恢复 。 

模拟 信号 的 特性 可 用 它 的 时 间 ,频率 和 幅度 的 三 维 参数 来 完整 地 表示 ,因而 对 模拟 信号 
进行 加 密 , 可 以 按照 一 定 规律 改变 信号 的 幅度 ,频率 和 时 间 的 特征 实现 加 密 。 其 中 单独 处 理 
幅度 .频率 和 时 间 的 分 别称 为 幅度 置 乱 、 频 率 置 乱 和 时 间 置 乱 , 并 统一 称 为 一 维 置 乱 。 同 时 
置 乱 其 中 的 两 种 ,就 称 为 二 维 置 乱 。 

如 对 模拟 语音 通信 加 密 ,主要 是 采用 时 域 或 频 域 置 乱 ,实现 起 来 比较 容易 ,加 密 后 的 语 
音频 带 较 窗 , 故 可 在 原来 的 模拟 信道 中 传输 。 这 种 加 密 方式 与 口令 , 藏 头 许 等 不 同 ,是 通过 
对 语音 信号 本 身 进行 处 理 ,把 可 懂 的 语音 变 成 不 可 懂 的 声音 ,甚至 变 成 噪声 来 实现 安全 保密 
的 ,即使 敌手 截获 到 了 加 密 的 语音 信号 也 难以 或 根本 无 法 恢复 出 可 懂 的 语音 。 

但 一 般 地 说 ,模拟 加 密语 音 的 保密 度 较 差 , 较 容 易 被 窃听 者 破译 。 而 数字 加 密 因为 是 在 
语音 数字 化 后 采取 置 乱 措施 ,为 了 获得 高 保密 度 和 良好 的 语音 质量 ,需要 用 较 高 的 取样 速 
率 , 因 此 需要 频带 较 宽 的 信道 进行 传输 。 此 外 还 有 一 种 模拟 加 密 方式 , 它 是 在 语音 数字 化 后 
进行 时 域 或 频 域 置 乱 的 ,再 通过 数 模 变换 成 为 模拟 加 密语 音 。 因 此 这 种 加 密 方式 兼 有 模拟 
和 数字 加 密 的 优点 , 即 既 可 获得 较 高 的 保密 度 , 又 可 在 模拟 信道 中 传输 。 模 拟 信号 加 密 和 解 
密 都 比较 困难 ,有 时 制造 一 台 模拟 信和 号 保密 机 ,所 花 的 时 间 甚 至 比 制造 通信 设备 本 身 还 长 ， 
所 花费 的 资金 甚至 比 通信 设备 还 昂贵 。 


7.5.2 ”数字 通信 加 密 


随 着 电子 技术 、 通 信 技 术 和 计算 机 技术 的 快速 发 展 ,通信 系统 已 由 传统 的 模拟 体制 过 渡 
到 目前 的 全 数字 通信 体制 ,并 广泛 应 用 于 军事 .电信 等 部 门 。 数 字 通 信 加 密 技 术 是 继 模拟 通 
信和 加密 之 后 应 用 更 为 广泛 的 一 种 通信 保密 技术 ,其 保密 性 能 明显 优 于 模拟 通信 加 密 。 数 字 
保密 通信 的 设计 目的 在 于 使 窃听 者 即使 在 完全 准确 地 收 到 接收 信号 的 条 件 下 也 不 能 恢复 出 
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原始 消息 。 

序列 密码 体制 分 组 密码 体制 和 公开 密 钥 密码 体制 均 可 用 于 对 数字 信号 的 加 密 处 理 , 但 
在 实际 应 用 中 ,人 们 对 通信 的 实时 性 和 传输 质量 ( 误 码 率 ) 总 有 一 定 的 要 求 , 这 就 决定 了 不 同 
的 数字 通信 系统 不同 的 通信 目标 需求 应 选用 不 同 的 密码 体制 来 提供 保密 性 。 

根据 网 络 的 构 形 和 通信 的 特点 ,在 数字 通信 网 络 中 按 加 密 的 位 置 和 方式 可 分 为 三 种 : 
链 路 加 密 、 节 点 加 密 和 端 到 端 加 密 。 对 这 几 种 加 密 方式 ,数据 加 密 设备 (DEE) 都 须 和 数据 
线路 终结 设备 (DCE) ,数据 终端 设备 (DTE) 之 间 保 持 一 致 ,并 使 用 户 感到 透明 。 

链 路 加 密 是 在 相 邻 的 网 络 节点 间 对 数据 进行 保护 , 即 在 邻近 两 个 节点 之 间 的 链 路 上 传 
送 的 数据 是 加 密 的 ,而 在 节点 中 的 信息 是 以 明文 形式 出 现 的 ,因而 对 用 户 程序 员 与 系统 程序 
员 都 是 透明 的 。 其 加 密 可 在 密码 设备 中 实现 ,或 用 加 密 软件 来 完成 。 当 用 密码 设备 时 ,在 节 
点 和 有 关 的 调制 解 调 器 之 间 安 置 两 个 装配 了 相同 密 钥 的 密码 设备 ,如 图 7-24 所 示 , 它 既 有 
加 密 能 力 又 有 解密 能 力 。 而 不 同 节点 对 之 间 的 密码 设备 和 密 钥 不 一 定 相同 。 


节点 门 ] 密 钥 1 密 钥 1 站 节点 六] 密 钥 2 密 钥 2 节点 
数据 数据 
图 7-24 链 路 加 密 


节点 加 密 类 似 于 链 路 加 密 , 即 每 对 节点 共用 一 个 密 钥 来 保护 两 个 节点 间 的 通信 数据 。 
不 同 的 是 节点 加 密 时 ,数据 在 发 送 节 点 和 接收 节点 是 以 明文 形式 出 现 ,而 在 中 间 节 点 ,数据 
并 不 像 链 路 那样 使 用 明码 ,是 在 一 个 安全 的 模块 (设备 ) 内 部 ,从 一 个 密 钥 控制 下 的 密 文 转换 
成 另外 一 个 密 钥 控制 下 的 密 文 ,其 过 程 如 图 7-25 所 示 。 故 不 同 节点 之 间 密 码 的 密 钥 一 般 是 
不 同 的 。 


数据 数据 


一 一 | 节点 一 | 节点 一 | 节点 一 -一 
加 密 数据 加 密 数据 
数据 ( 密 钥 D) ( 密 钥 2) 数据 
密 钥 1 密 钥 ! 密 钥 2 
密 钥 2 
(安全 模块 ) (安全 模块 ) (安全 模块 ) 


图 7-25 节点 加 密 
端 到 端 加 密 是 当 数 据 在 用 户 间 传 输 时 一 直 受 到 保护 。 只 是 在 终端 才 进 行 解密 ,在 整个 
传输 过 程 中 是 以 一 个 确定 的 密 钥 和 算法 进行 加 密 的 ,如 图 7-26 所 示 , 在 中 间 节 点 或 在 与 它 
们 有 关 的 安全 模块 内 永远 不 会 以 明码 的 形式 出 现 。 


数据 | 节点 


一 “| 密 钥 1 节点 节点 


图 7-26 ” 端 对 端 加 密 
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使 用 链 路 和 节点 加 密 , 用 户 一 般 并 不 知道 信息 正在 接受 密码 保护 ( 即 密码 功能 由 网 络 提 
供 , 对 用 户 是 透明 的 )。 使 用 链 路 加 密 时 ,在 加 密 数据 通过 的 所 选择 的 路 径 中 的 每 一 个 节点 
必须 有 自己 单独 的 密码 设备 。 这 些 设备 被 连接 到 它 的 输入 和 输出 端口 。 使 用 节点 加 密 时 ， 
在 所 选择 的 密码 数据 所 通过 的 路 径 中 每 一 个 节点 必须 有 它 自 己 的 安全 模块 。 使 用 终端 到 终 
端 加 密 时 ,只 要 求 发 出 或 者 接收 加 密 信 息 的 那些 节点 具有 加 密 能 力 。 这 有 效 地 减少 了 网 络 
中 必须 使 用 密码 学 或 密码 设备 的 地 点 。 


7.6 信息 安全 和 确认 技术 


随 着 信息 技术 的 发 展 ,大 规模 的 计算 机 通信 网 已 成 为 一 个 很 普遍 的 传送 、 存 储 和 处 理 信 
息 的 系统 。 通 信和 网 的 服务 范围 已 扩展 到 了 包括 电子 资金 传送 、 有 价值 的 合作 数据 传送 和 医 
学 记录 信息 存储 等 重要 功能 ,将 网 络 作为 个 人 和 敏感 的 通信 使 用 已 越 来 越 普 遍 。 在 这 样 大 
规模 的 信息 系统 中 ,信息 资源 的 共享 是 很 方便 的 ,但 并 不 是 任何 信息 资源 都 可 供 每 个 人 自由 
享用 。 对 不 同 范围 的 信息 就 其 使 用 目的 、 价 值 和 后 果 而 言 ,共享 的 范围 应 有 严格 的 限制 ; 但 
男 一 方面 ,信息 资源 也 应 得 到 充分 的 保护 ,以 防 人 为 的 帘 改 、 破 坏 。 因 此 信息 系统 的 安全 问 
题 是 极为 重要 的 吸 待 解决 的 问题 ,同时 也 是 一 个 复杂 的 问题 。 


7.6.1 信息 安全 的 基本 概念 


在 一 个 大 规模 的 计算 机 通信 网 中 , 它 所 包含 的 信息 安全 问题 是 多 方面 的 。 在 网 络 的 不 
同 层次 上 ,有 不 同 的 安全 要 求 ,信息 安全 措施 有 技术 的 ,也 有 管理 的 。 当 前 密码 学 研究 人 员 
最 为 关心 的 是 网 络 信息 系统 中 信息 传输 时 窃听 泄密 问题 .数据 库存 储 等 系统 的 资源 接 人 控 
制 问题 和 对 信息 进行 完整 性 保护 以 防 窜改 .破坏 、 病 毒 侵入 等 问题 。 现 代 密 码 学 为 信息 系统 
的 安全 性 提供 了 有 效 的 技术 保证 ,信息 保密 系统 为 传输 和 存储 中 的 信息 提供 了 加 密 手段 , 基 
于 密码 技术 发 展 起 来 的 数字 签名 .身份 验证 、 消 息 确证 系统 为 抵抗 攻击 者 对 信息 系统 进行 主 
动 攻击 提供 了 强 有 力 的 手段 。 

在 网 络 通信 中 ,主要 的 安全 防护 措施 被 称 作 安 全 业务 。 有 五 种 通用 的 安全 业务 : 

(1) 认证 业务 

认证 业务 提供 了 关于 某 个 人 或 某 个 事情 身份 的 保证 。 这 意味 着 当 某 人 (或 某 事 ) 声 称 具 
有 一 个 特别 的 身份 (如 某 个 特定 的 用 户 名 称 ) 时 ,认证 业务 将 提供 某 种 方法 来 证 实 这 一 声明 
是 正确 的 。 口 令 是 一 种 提供 认证 的 熟知 方法 。 

(2) 访问 控制 业务 

访问 控制 的 目标 是 防止 对 任何 资源 (如 计算 资源 .通信 资源 或 信息 资源 ) 进 行 非 授 权 的 
访问 。 所 谓 非 授权 访问 包括 未 经 授权 的 使 用 泄露. 修改、 销毁 以 及 颁发 指令 等 。 访 问 控制 
直接 支持 保密 性 、 完 整 性 、 可 用 性 以 及 合法 使 用 的 安全 目标 ,可 采用 防火 墙 技 术 。 

(3) 保密 业务 

保密 业务 就 是 保护 信息 不 泄露 或 不 暴露 给 那些 未 授权 掌握 这 一 信息 的 实体 (例如 人 或 
组 织 )。 一 般 采 用 数据 加 密 的 方法 。 
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(4) 数据 完整 性 业务 

数据 完整 性 业务 (或 简称 为 完整 性 业务 ) 是 对 安全 威胁 所 采取 的 一 类 防护 措施 ,这 种 威 
胁 就 是 以 某 种 违反 安全 策略 的 方式 ,改变 数据 的 价值 和 存在 。 改 变数 据 的 价值 是 指 对 数据 
进行 修改 和 重新 排序 ; 而 改变 数据 的 存在 则 意味 着 新 增 或 删除 它 。 依 赖 于 应 用 环境 ,以 上 
任何 一 种 威胁 都 有 可 能 导致 严重 的 后 果 。 

(5) 不 可 否认 业务 

不 可 否认 业务 与 其 他 安全 业务 有 着 最 基本 的 区 别 。 它 的 主要 目的 是 保护 通信 用 户 免 遭 
来 自 于 系统 其 他 合法 用 户 的 威胁 ,而 不 是 来 自 于 未 知 攻击 者 的 威胁 。“ 否 认 ” 最 早 被 定义 成 
一 种 威胁 , 它 是 指 参 与 某 次 通信 交换 的 一 方 事 后 虚伪 地 否认 曾经 发 生 过 本 次 交换 。 不 可 否 
认 业 务 是 用 来 对 付 此 种 威胁 的 。 事实 上 这 种 业务 不 能 消除 业务 否认 。 也 就 是 说 , 它 并 不 能 
防止 一 方 否 认 另 一 方 对 某 件 已 发 生 的 事情 所 作出 的 声明 。 它 所 能 够 做 的 只 是 提供 无 可 辩驳 
的 证 据 , 以 支持 快速 解决 这 种 纠纷 ,通常 采用 数字 签名 技术 。 


7.6.2 数字 签名 


数字 签名 在 信息 安全 ,包括 身份 认证 ,数据 完整 性 ` 不 可 否认 性 以 及 匿名 性 等 方面 有 重 
要 应 用 ,特别 是 在 大 型 网 络 安全 通信 中 的 密 钥 分 配 、 认 证 以 及 电子 商务 系统 中 具有 重要 
作用 。 

信息 安全 系统 除了 信息 保密 外 ,还 需要 抵抗 对 手 的 主动 攻击 , 即 在 一 个 网 络 中 ,信息 发 
送 方 和 接收 方 之 间 产 生 以 下 几 方 面 的 问题 : 

。 伪造 : 接收 方 伪造 一 份 来 自 某 一 发 送 方 的 文件 ; 

。 算 改 : 接收 方 自 改 接收 到 的 文件 或 其 中 的 数据 ; 

。 冒 充 : 网 络 中 任 一 用 户 冒 充 另 一 用 户 作为 接收 方 或 发 送 方 ; 

。 和 否认: 发 送 /接收 方 不 承认 曾 发 送 /接收 过 某 一 文件 。 

这 些 属于 接收 方 和 发 送 方 双 方 之 间 的 问题 , 仅 用 数据 加 密 的 方法 而 不 让 第 三 方 获得 数 
据 , 是 无 法 解决 的 。 在 不 使 用 计算 机 网 络 交换 文件 的 场合 , 常 使 用 手写 签名 来 防止 上 述 问 题 
的 发 生 。 但 在 计算 机 网 络 中 ,由 于 用 户 地 理 位 置 不 同 , 而 且 传输 的 文件 是 数据 形式 ,所 以 无 
法 使 用 手写 签名 。 为 此 ,必须 设计 一 个 手迹 签名 的 代 蔡 方案 ,有 一 个 这 样 的 系统 能 用 以 下 的 
方式 将 一 个 “签名 的 "文件 发 送 到 另 一 方 : 

Q@ 接收 者 可 以 确认 发 送 者 的 身份 ; 

@ 发 送 者 以 后 不 能 否认 文件 是 他 发 的 ; 

@ 接收 者 自己 不 能 伪造 该 文件 。 

第 一 个 条 件 是 必须 的 ,例如 在 一 个 经 济 系统 中 , 当 一 位 顾客 通过 计算 机 发 订货 单 ,向 一 
家 银行 订购 一 吨 黄金 ,银行 计算 机 需要 证 实 发 出 订购 要 求 的 计算 机 确实 属于 付款 的 公司 。 
第 二 个 条 件 用 于 保护 银行 不 受 欺骗 。 假 设 银行 为 该 顾客 买 人 了 这 吨 黄金 ,但 金价 随后 立即 
暴跌 , 狐 独 的 顾客 可 能 会 控告 这 家 银行 ,声称 自己 从 未 发 出 过 任何 订购 黄金 的 订单 。 第 三 个 
条 件 用 来 在 下 述 情况 下 保护 顾客 ,如 金价 暴涨 ,银行 伪造 一 个 文件 ,说 顾客 只 要 买 一 条 黄金 
而 不 是 一 吨 黄金 。 

满足 上 述 要 求 的 数字 签名 将 在 以 下 方面 优 于 手写 签名 。 例 如 ,数字 签名 可 以 通过 计算 
机 网 络 使 地 理 位 置 不 同 的 用 户 实现 签名 ; 数字 签名 既 可 有 手写 签名 那样 的 可 见 性 ,又 可 将 
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签名 存储 于 计算 机 系统 之 中 ; 数字 签名 与 整个 文件 的 每 一 组 成 部 分 都 有 关 , 从 而 保证 了 不 
变性 ,而 手写 签名 的 文件 则 可 以 改换 某 一 页 内 容 ; 数字 签名 可 以 对 一 份 文 件 的 一 部 分 进行 
签署 ,这 是 手写 签名 所 不 能 做 到 的 ; 手写 签名 一 般 要 经 过 专家 的 鉴定 才能 确认 ,而 在 一 个 具 
有 良好 数字 签名 方案 的 网 络 内 ,接收 方 可 以 立即 识别 接收 的 文件 中 的 签名 的 真 伪 。 

数字 签名 技术 就 是 利用 数据 加 密 技术 .数据 变换 技术 ,根据 某 种 协议 来 产生 一 个 反映 被 
签署 文件 的 特征 以 及 反映 签署 人 的 特性 的 数字 化 签名 ,以 保证 文件 的 真实 性 和 有 效 性 。 

数字 签名 技术 是 建立 在 其 他 一 些 技术 基础 之 上 的 。 这 些 基 础 影响 到 数字 签名 的 安全 
性 、 实 用 性 以 及 实现 的 方法 。 首 先 , 数 字 签 名 是 在 网 络 环境 下 应 用 的 ,因此 与 网 络 的 组 成 有 
很 大 关系 。 如 果 是 局 域 网 , 因 各 用 户 所 处 的 地 理 位 置 接近 ,对 数字 签名 的 功能 要 求 就 不 高 
如 果 是 远程 网 , 则 要 求 有 很 强 的 数字 签名 方案 。 在 公用 数据 网 中 ,由 于 入 网 的 用 户 类 型 和 数 
目 繁多 ,对 数字 签名 的 要 求 较 高 ; 而 在 本 系统 内 部 专用 的 网 中 ,要 求 相 对 较 低 。 如 果 网 络 中 
有 网 络 管理 中 心 或 安全 控制 中 心 , 则 在 实现 数字 签名 时 可 充分 利用 这 一 条 件 ; 相反 地 ,在 没 
有 这 类 控制 中 心 的 简单 网 中 , 则 要 设计 其 他 类 型 的 数字 签名 方案 。 

其 次 ,数字 签名 的 实现 是 在 网 络 内 已 具有 数据 加 密 功 能 的 前 提 下 进行 的 , 即 假定 第 三 者 
至 多 能 得 到 签名 参与 者 双方 交换 的 密码 数据 ,而 不 能 获得 其 明文 数据 。 除 此 之 外 ,签名 双方 
在 签名 过 程 中 自始至终 利用 了 数据 加 密 来 达到 签名 有 效 性 的 目的 。 所 以 ,数据 加 密 是 数字 
签名 的 重要 基础 。 目 前 有 两 大 类 加 密 算法 : 一 类 是 秘密 密 钥 加 密 方法 , 它 的 代表 是 DES 算 
法 ; 另 一 类 是 公开 密 钥 加 密 算法 , 它 的 代表 是 RSA 算法 。 

1. 秘密 密 钥 的 数字 签名 

这 种 签名 方法 需要 一 个 众人 信任 的 中 心 权力 者 (BB) ,他 知道 每 件 事情 。 每 个 用 户 选 择 
一 个 秘密 密 钥 , 将 其 亲手 交 给 BB。 这 样 只 有 A 用 户 和 BB 知道 A 的 秘密 密 钥 K。 如 果 A 
用 户 要 将 一 文件 传送 给 B 用 户 , 则 须 经 下 述 过 程 : 

Q@ A 用 户 用 自己 的 秘密 密 钥 加 密 报 文 P 得 到 KK。(P), 并 发 送 给 BB; 

@ BB 解密 Ka(P) 得 到 了 ,然后 建立 一 个 由 A 的 名 字 和 地 址 日期、 初始 报 文 组 成 的 一 
个 新 报 文 (A 十 D 十 P)。 再 用 一 个 对 任何 人 都 保密 的 密 钥 X 加 密 产生 X(A 十 D 十 P) ,并 回 
送 给 A。 这 样 BB 可 以 确认 请 求 确实 来 自 于 A ,因为 只 有 A 和 BB 知道 KA。。 如 果 一 个 冒充 
者 发 送 给 BB 一 个 报 文 ,那么 用 Ks 解密 出 的 报 文 将 无 任何 意义 ; 

@ A 用 户 发 送 X(A 十 D 十 P) 给 B 用 户 ，; 

@ B 用 户 发 送 XX(A 十 D 十 P) 给 BB ,请 求 得 到 Ks (A 十 D 十 P) 作 为 结果 ; 

@ B 用 户 将 Ks(A 十 D 十 P) 解 密 得 到 明文 信息 A.D 和 P。 

如 果 A 用 户 否 认 发 送 过 P 给 B 用 户 , 则 B 可 以 将 X(A 十 D 十 P) 提 供给 法 官 。 法 官 命 
令 BB 将 其 解密 , 当 法 官 看 到 A、D 和 P 时 知道 A 用 户 在 撒谎 。 因 为 下 用 户 不 知道 和 ,所 以 
不 能 伪造 X(A 十 D 十 P)。 图 7-27 所 示 就 是 在 两 个 陌生 人 之 间 采 用 秘密 进行 的 密 钥 报 文 签 
名 传送 ,可 以 看 到 每 传送 这 样 的 一 条 报 文 必须 请 求 BB 两 次 。 

2. 公开 密 钥 的 数字 签名 

使 用 秘密 密 钥 加 密 法 进行 数字 签名 的 关键 问题 是 每 个 人 都 信任 中 心 权力 者 ,而 该 中 心 
权力 者 要 读 取 所 有 签名 过 的 信息 。 最 能 担当 此 重任 的 代表 是 政府 、 银 行 和 律师 。 但 是 并 不 
是 所 有 的 公民 都 非常 信任 这 些 部 门 的 。 因 此 如 果 文件 签名 不 需要 任何 可 信赖 机 构 将 会 更 
好 。 公 开 密 钥 加 密 法 可 以 满足 这 一 要 求 。 
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OK 人 及 Ks(4+D+P) 
A|@XAtD+P) |BB| @xd+pDtm | 3 
@X(4+D+P) { 


图 7-27 在 两 个 陌生 人 A 和 B 之 间 采 用 秘密 密 钥 报 文 签名 传送 


如 图 7-28 所 示 ,A 用 户 用 自己 的 私有 密 钥 将 明文 P 加 密 得 到 Da(P), 再 用 B 用 户 的 公 
开 密 钥 加 密 得 到 Es (Da (P)), 将 此 密 文 传送 给 B 用 户 。B 用 户 用 自己 的 私 有 密 钥 Ds 将 此 
解密 得 到 Da(P) ,并 把 这 条 信息 存放 在 一 个 安全 的 地 方 , 然 后 用 A 用 户 的 公开 密 钥 已 解密 
得 到 初始 明文 P。 如 果 A 用 户 后 来 否认 曾经 发 送 过 报 文 P 给 B 用 户 ,B 用 户 只 需 出 示 
Da(P) 给 法 官 ,法 官 用 Es 来 解密 就 能 证 明 该 条 消息 确实 是 A 用 户 发 送 的 。 因 为 B 用 户 不 
知道 A 的 私有 密 钥 ,只 有 A 用 户 才能 产生 出 该 密 文 。 


4 用 户 的 计算 术 传输 线 8 用 户 的 计算 机 
4 的 私有 和 密 钥 8 的 公开 密 钥 8 的 私有 密 钥 4 的 公开 密 钥 | 了。 
了 | Da 站 -| Es Ds | Ea 
| | 
Di(P) Eg(Di(P)) Di(P) 


图 7-28 ”使 用 公开 密 钥 加 密 法 的 数字 签名 
7.6.3 防火 墙 


随 着 Internet 的 飞速 发 展 ,计算 机 网 络 的 资源 共享 进一步 加 强 , 随 之 而 来 的 信息 安全 问 
题 也 日 益 突出 。 对 网 络 的 主要 威胁 有 非法 入 侵 和 病毒 传播 ,影响 E-mail、IP、Web 乃至 整个 
系统 的 安全 。 现 在 采用 的 有 效 措施 有 设置 防火 墙 采 用 口令 、 用 户 标识 号 ID 等 。 

所 谓 防火 墙 就 是 一 个 或 一 组 系统 ,用 来 在 两 个 或 多 个 网 络 间 加 强 访问 控制 。 它 是 一 个 
网 络 与 其 他 网 络 之 间 的 可 控 网 关 , 通 常 它 置 于 一 个 私有 的 、 有 确认 的 网 络 和 公开 的 Internet 
之 间 。 它 的 功能 类 似 于 大 厅 的 警卫 .目的 在 于 把 那些 不 受 欢迎 的 人 隔离 在 特定 的 网 络 之 外 ， 
但 又 丝毫 不 影响 正常 工作 。 其 原理 可 以 想象 成 一 对 开关 ,其 中 一 个 开关 用 来 阻止 传输 , 另 一 
个 开关 用 来 允许 传输 。 比 如 在 企业 网 和 Internet 网 设立 防火 墙 软件 ,使 企业 信息 系统 对 于 
来 自 Internet 的 访问 采取 有 选择 的 接收 方式 。 它 可 以 允许 或 禁止 某 一 类 具体 的 IP 地 址 访 
问 ,也 可 以 接收 或 拒绝 TCP/IP 上 的 某 一 类 具体 的 应 用 。 如 果 在 某 一 台 全 主机 上 有 高 度 
机 密 的 信息 或 危险 的 用 户 , 则 可 以 使 用 防火 墙 过滤 掉 从 该 主机 发 出 的 包 。 如 果 一 个 企业 
只 是 使 用 Internet 的 电子 邮件 和 WWW 服务 器 向 外 部 提供 信息 ,那么 就 在 防火 墙 上 设置 
使 得 只 有 这 两 类 应 用 的 数据 包 可 以 通过 。 虽 然 防 火 墙 有 很 多 种 类 型 ,但 其 主要 技术 有 下 
列 三 种 : 

@ 包 过 滤 (packet filter) ,该 技术 是 在 网 络 层 中 对 数据 包 实 施 有 选择 的 通过 。 依 据 系统 
内 事先 设 定 的 过 滤 逻 辑 ,检查 数据 流 中 每 个 数据 包 后 ,根据 数据 包 的 源 地 址 .目的 地 址 .所 用 
的 TCP 端口 与 TCP 链 路 状态 等 因素 来 确定 是 否 允许 数据 包 通 过 ; 
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@ 应 用 网 关 (application gateway) ,这 是 建立 在 网 络 应 用 层 上 的 协议 过 滤 技 术 。 它 针 
对 特别 的 网 络 应 用 服务 协议 , 即 数据 过 滤 协 议 , 并 且 能 够 对 数据 包 进 行 分 析 并 形成 相关 的 报 
告 。 在 实际 工作 中 ,应 用 网 关 一 般 由 专用 工作 站 系统 来 完成 ; 

@ 代理 服务 (proxy service) ,这 是 设置 在 Internet 防火 墙 网 关 的 专用 应 用 级 代码 。 这 
种 代理 服务 是 准许 网 管 员 允 许 或 拒绝 特定 的 应 用 程序 或 应 用 的 一 种 特定 功能 。 包 过 滤 技 
术 和 应 用 网 关 是 通过 特定 的 逻辑 判断 来 决定 是 否 允 许 特定 的 数据 包 通 过 ,一 旦 判断 条 件 
满足 ,防火 墙 内 部 网 络 的 结构 和 运行 状态 便 暴 露 在 外 来 用 户 面 前 ,这 就 引入 了 代理 服务 
的 概念 , 即 防火 墙 内 外 计算 机 系统 应 用 层 的 “链接 ”, 由 两 个 终止 于 代理 服务 的 “链接 ?来 
实现 ,就 成 功 地 实现 了 防火 墙 内 外 计算 机 系统 的 隔离 。 同 时 代理 服务 还 可 用 于 实施 较 强 
的 数据 流 监控 .过滤 .记录 和 报告 等 功能 。 代 理 服 务 技术 主 要 通过 专用 计算 机 硬件 (如 工 
作 站 ) 来 承担 。 

防火 墙 的 具体 实现 有 很 多 形式 ,其 产品 的 侧重 点 各 有 不 同 ,在 实现 上 都 有 细小 的 差别 ， 
但 原理 和 目的 相似 。 

防火 墙 是 保障 网 络 和 信息 系统 安全 的 一 道 重要 防线 ,没有 防火 墙 保护 的 企业 网 是 难以 
想象 的 。 然 而 防火 墙 只 是 保障 网 络 和 信息 系统 安全 的 一 个 必要 条 件 , 而 不 是 充分 条 件 。 防 
火 墙 的 主要 弱点 在 于 : 防火 墙 无 法 抵抗 绕 过 防火 墙 的 攻击 ; 防火 墙 的 主要 功能 是 防止 来 自 
外 部 的 黑客 攻击 ,对 于 来 自 内 部 的 攻击 则 无 能 为 力 。 而 人 们 通常 认为 内 部 攻击 的 危害 性 要 
远 远大 于 外 部 攻击 的 危害 性 。 因 此 必须 将 防火 墙 与 其 他 安全 设施 有 机 地 组 合 起 来 ,才能 构 
成 有 效 的 网 络 安全 防卫 体系 。 例 如 , 当 用 户 通过 防火 墙 访问 网 络 资源 时 必须 通过 一 个 强 有 
力 的 认证 过 程 。 目 前 的 认证 手段 也 在 不 断 发 展 , 除 了 传统 的 口令 技术 外 ,还 可 采用 一 次 性 许 
可 证 ,智能 卡 等 技术 来 实现 ,好 的 认证 方式 还 可 利用 指纹 .音色 以 及 视网膜 纹 等 生物 特征 来 
实现 。 


7.6.4 密码 学 的 应 用 实例 

1. 电子 支付 系统 的 安全 

当前 金融 机 构 所 使 用 的 最 方便 的 识别 或 者 确认 方法 是 顾客 拥有 的 东西 一 一 银行 卡片 ， 
以 及 顾客 知道 的 东西 一 一 个 体 标识 号 PIN。 利 用 卡片 上 所 记 有 的 账户 号 和 由 顾客 记 住 的 
PIN 之 间 的 相对 一 致 性 来 识别 顾客 。 对 一 个 骗子 而 言 ,占有 卡片 但 不 知道 PIN ,或 者 知道 
PIN 而 没有 相应 的 卡片 ,都 不 足以 取得 进入 系统 的 权利 。 

曾 使 用 过 的 卡片 有 两 种 ,比较 早 采用 的 是 磁卡 ,但 是 伪造 或 者 复制 这 样 的 磁卡 比较 容 
易 , 复 制 时 并 不 需要 确 知 卡片 上 记录 数据 的 内 容 、 格 式 , 以 及 是 否 加 密 , 只 需 将 卡片 上 的 数据 
从 一 个 卡 转移 到 另 一 个 卡 即 可 。 为 了 增加 安全 性 ,可 在 卡片 上 构造 一 些 随 卡片 而 改变 的 随 
机 特性 ,如 在 卡片 的 内 磁 芯 上 印 制 两 组 磁 线 道 ,使 得 没有 两 张 卡片 是 同样 的 。 但 是 这 就 增加 
了 读 卡 机 的 复杂 度 和 读 取 的 费用 。 目 前 使 用 的 则 是 智能 安全 卡 ,这 种 卡 上 装 有 一 个 微 处 理 
器 ,使 得 识别 和 确认 运算 可 以 直接 在 卡片 上 进行 ,而 不 必 在 系统 入 口 点 设备 的 逻辑 电路 中 进 
行 。 此 外 还 可 将 少量 的 重要 顾客 账户 信息 储存 在 卡 上 ,提供 具有 相当 于 储蓄 存折 所 提供 的 
自动 化 的 记录 ,是 一 种 智能 化 的 安全 的 卡片 。 

使 用 保密 的 PIN 是 电子 支付 (EFT) 系统 中 确认 顾 主 的 最 好 方法 。PIN 本 质 上 是 卡片 
持 有 者 的 一 种 电子 签名 , 它 在 EFT 交易 中 的 作用 与 传统 的 金融 事务 中 书面 签名 的 作用 相 
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同 。PIN 是 由 卡 主 记忆 的 ,而 不 得 用 可 能 被 他 人 查 出 的 方式 记录 下 来 。 当 卡 主 着 手 进行 一 
项 EFT 交易 时 ,他 用 专用 键盘 将 其 PIN 输入 进 EFT 的 终端 。 除非 EFT 系统 识别 出 他 所 
输入 的 PIN 与 这 一 特定 的 账号 (由 EFT 终端 从 卡片 中 读 出 ) 相 符 , 否 则 EFT 系统 就 拒绝 这 
笔 交 易 。 这 样 做 的 目的 是 : 如 果 卡 片 丢 失 或 被 盗 , 其 拾 者 或 穷 者 无 法 使 用 该 卡片 ,因为 他 们 
不 知道 与 此 相关 的 PIN。 同 样 也 可 以 防止 那些 能 够 伪造 银行 卡片 的 人 。 即 使 他 能 够 伪造 这 
样 一 种 假 银行 卡片 ,也 不 能 使 用 它 ,因为 他 不 知道 PIN。 

为 了 使 PIN 起 到 其 应 有 的 作用 , 它 只 能 为 卡片 所 有 者 所 知 ,而 不 应 让 他 人 知道 。PIN 
的 保密 是 极其 重要 的 ,只 有 采取 严格 的 安全 措施 才能 达到 。 一 般 推 荐 采用 的 PIN 的 长 度 
是 4、5 或 6 位 十 进 制 数 , 既 考虑 了 使 用 的 方便 ,又 保证 了 在 有 限时 间 内 不 能 用 试 凑 法 
测 出 。 

PIN 可 以 由 金融 机 构 确定 ,也 可 以 由 卡 主 选 定 。 每 种 方法 都 各 有 优 缺 点 ,但 现 有 技术 能 
以 安全 的 方式 来 进行 每 种 方法 的 实施 ,从 而 使 得 没有 人 能 确定 卡 主 的 PIN。 如 果 卡 主 遗 忘 
了 PIN 的 值 ,也 有 安全 技术 来 提醒 卡 主 回忆 他 自己 的 PIN 。 

前 面 介绍 的 数据 加 密 标准 DES 算法 就 可 用 来 加 密 PIN, 用 严格 6 位 十 进 制 数 或 更 长 的 
数值 来 串 连 PIN 明文 ,这 个 值 是 : 一 个 随机 数 或 伪 随 机 数 ; 一 个 在 每 次 交易 中 增加 的 计数 ; 
账号 中 的 最 无 意义 的 数字 。 其 结果 在 长 度 上 必定 不 超过 64 位 二 进 制 比特 。 用 DES 和 一 个 
密 钥 对 其 进行 块 加 密 , 则 产生 完整 的 64 位 密码 就 作为 该 项 交易 加 密 的 PIN。 当 然 密 钥 也 需 
受到 保护 。 

2. Internet 上 电子 商务 系统 的 安全 

电子 商务 就 是 通过 网 络 进行 电子 支付 来 得 到 信息 产品 或 得 到 递送 实物 产品 的 承诺 。 传 统 
电子 商务 采用 电子 数据 交换 (electronic data interchange,EDI) ,传真 通信 (fax communication) 、 
条 形 码 (bar code) ` 消 息 处 理 系统 (message handing system,MHS) ,文件 递送 (file transfer) 、 信 
用 卡 \IC 卡 等 方式 。 多 采用 基于 增值 网 (VANs ) 的 专用 消息 网 的 多 存储 转发 方式 。 其 缺点 是 
耗 时 、 成 本 高 .连通 性 有 限 等 。 但 增值 网 也 有 其 优点 ,如 安全 性 好 、 可 靠 性 高 .收据 能 可 靠 地 
递 到 ,这 对 商用 十 分 重要 。 

新 的 Internet 商务 是 利用 世界 范围 连通 的 、 无 中 心 管理 机 构 、 可 交互 、 低 成 本 的 Internet 发 
展业 务 。 它 比 增值 网 的 成 本 低 , 即 时 性 和 互通 性 好 ,可 以 通过 WWW 查看 各 个 公司 所 建立 
的 Web 页 面 , 这 为 电子 商务 提供 了 新 的 发 展 机 遇 。 但 是 已 有 许多 案例 表明 ,在 全 球 万 维 网 
上 尚 不 能 提供 电子 商务 所 需 的 安全 和 可 靠 性 。 保 证 安全 和 可 靠 性 是 发 展 Internet 电子 商务 
的 主要 障碍 和 关键 。 

可 靠 性 和 安全 性 是 相互 关联 的 。 若 电子 商务 系统 的 可 靠 性 不 高 , 则 可 能 被 攻击 而 失窃 。 
可 靠 性 可 能 要 求 安 全 性 来 提供 认证 \、 完 整 性 和 不 可 反驳 性 。 可 靠 性 不 等 于 安全 性 ,服务 器 上 
的 可 靠 协 议 对 攻击 者 和 授权 用 户 都 提供 可 靠 的 服务 。 安 全 性 是 成 功 发 展 电子 商务 的 一 个 决 
定性 因素 。 最 主要 的 有 : 

(1) 安全 支付 机 构 , 以 处 理 各 种 类 型 支付 信息 的 传递 和 人 处理, 如 信用 卡 、 电 子 支票 ,借贷 
卡 和 数字 货币 。 

(2) 提供 不 可 否认 商业 交易 。 

(3) 保证 经 过 Internet 传递 的 数据 的 完整 性 ,才能 可 靠 地 进行 Internet 商务 。 

(4) 在 Internet 商务 系统 的 基础 实施 中 还 应 包括 一 些 可 信赖 机 构 。 
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这 些 要 求 的 实现 大 多 要 借助 于 数据 的 安全 保密 技术 。 其 中 最 主要 的 有 认证 性 、 保 密 
性 数据 完整 性 .不 可 否认 性 、 接 人 (或 访问 ?控制 . 可 用 性 、 安 全 协议 .防火 墙 、 知 识 产权 
保护 。 

3. E-mail 安全 保密 系统 

在 Internet 中 , 随 着 通信 和 量 和 业务 种 类 的 增加 ,对 安全 认证 和 保密 业务 的 需求 日 益 迫 
切 。PGP(pretty good privacy) 是 一 种 混合 密码 系统 ,包含 4 个 密码 单元 , 即 单 钥 密码 中 的 
IDEA、 双 钥 密 码 中 的 RSA、 单 向 散 列 算法 中 的 MD5 和 一 个 随机 数 生成 算法 。PGP 已 广泛 
用 于 Internet 网 的 E-mail 系统 中 ,也 可 以 用 于 其 他 网 中 。 

PGP 可 提供 机 密 性 或 认证 性 ,或 同时 并 俱 。PGP 的 认证 性 如 图 7-29 所 示 , 具 体 实现 
如 下 : 

(1) 发 送 人 编制 消息 M; 

(2) 用 MD5 产生 一 个 128bit 摘要 HH; 

(3) 用 发 送 人 的 RSA 私 钥 对 瓦 签字 ; 

(4) 将 M 和 五 签字 经 压缩 变换 Z 后 送出 ; 

(5) 接收 端 对 收 到 的 数据 进行 Z 一 变换 ,并 以 发 送 人 的 公 钥 解 出 互 ; 

(6) 用 接收 的 M 计算 摘要 五 " ,与 H 进行 比较 验证 签字 。 


14 的 私 乌 TH MDs 汪 
A:M MD5 | RSA 加 密 + ZC 2 
1 比较 
1 
RSA 解密 Hn 
人 44 的 公 钥 
图 7-29 ”PGP 的 认证 性 
PGP 的 机 密 性 如 图 7-30 所 示 ,实现 如 下 : 
(1) 发 送 人 用 随机 数 生成 算法 产生 128bit 会 话 密 钥 和 需 发 送 的 消息 M; 
(2) 压缩 M, 并 用 会 话 密 钥 进行 IDEA 加 密 ; 
(3) 用 接收 人 的 公 钥 对 会 话 密 钥 进行 RSA 加 密 ,与 加 密 M 一 起 发 送 ; 
(4) 接收 人 用 自己 的 私 钥 进行 RSA 解密 得 到 会 话 密 钥 ; 
(5) 接收 入 用 会 话 密 钥 进行 IDEA 解密 并 解压 缩 得 到 M。 
| 的 2 | 
128bit 
会 话 密 角 一 人 i 站 
B 
A:M—| 2Z | 一 | IDEA 上 e| 十 = IDEA -=| Z-!1 [一 AM 


7-30 PGP 的 机 密 性 


在 这 种 加 密 方法 中 使 用 IDEA/RSA 组 合 方式 使 消息 M 加 密 时 间 大 大 缩短 , 且 会 话 
密 钥 一 次 性 使 用 ,特别 适合 于 存储 转发 E-mail 业务 ,避免 了 执行 交换 密 钥 的 握手 协议 ， 
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提高 了 安全 性 。PGP 是 解决 E-mail 中 传送 函件 不 安全 所 用 的 软件 ,新 一 代 安 全 Web 
服务 器 所 采用 的 传送 函件 的 软件 与 它 完全 一 致 ,这 预示 着 它 在 未 来 商业 中 将 获得 广泛 
的 应 用 。 


本 章 小 结 


完成 加 密 和 解密 的 算法 称 为 密码 体制 。 加 解密 过 程 中 包括 加 密 Ex 、 解 密 Dk、 明文 M、 
密 文 C、 密 钥 K 等 基本 要 素 。 

密码 体制 的 安全 性 在 于 计算 上 是 否 安 全 和 计算 上 是 否 可 能 。 密 码 体 制 要 实现 的 功能 可 
分 为 保密 性 和 真实 性 两 种 。 

密码 体制 可 分 为 对 称 ( 单 密 钥 ) 体 制 和 非 对 称 ( 双 密 钥 ) 体 制 。 加 密 密 钥 和 解密 密 钥 相 同 
或 者 很 容易 相互 推导 出 。 最 有 代表 性 的 传统 密码 体制 是 美国 政府 颁布 的 数据 加 密 标准 
(DES) 。 非 对 称 ( 双 密 钥 ) 密 码 体制 的 加 密 密 钥 和 解密 密 钥 中 至 少 有 一 个 在 计算 上 不 可 能 被 
另 一 个 导出 ,有 一 个 可 公开 而 不 影响 另 一 个 的 保密 。 公 开 密 钥 体 制 即 是 这 种 ,最 有 代表 性 的 
公开 密 钥 密码 体制 是 RSA 算法 。 

加 密 编 码 中 ,相关 性 越 小 ,不 确定 度 越 大 ,破译 的 难度 就 越 大 。 

一 次 加 密 的 DES 现在 已 不 再 能 满足 许多 实际 应 用 的 需要 ,人 们 开始 提出 许多 更 安全 的 
块 密码 ,其 中 最 令 人 感 兴趣 最 重要 的 就 是 IDEA, 即 国际 数据 加 密 算 法 。 


习题 


7-1 用 置换 盒 | 3 | 5 | 6 | 1 1 21817114| 把 字 SECURITY 进行 移 位 。 
7-2 若 已 知 DES 体制 中 8 个 S 盒 之 一 的 S 盒 选择 压缩 函数 如 下 : 


ee 0 1 2 3 4 5 6 区 8 | 9 加 | 2 | 12 | 13: | 115 
行 号 
0 14 4 | 13 1 2 |15 | 11 8 3 | 10 6 | 12 5 9 0 学 
1 0 | 15 7 4 | 14 2 | 13 国医 ， 6 | 12 | 11 9 5 3 8 
2 4 1 | 14 8 | 13 6 2|111|15 | 12 9 党 3 | 10 5 0 
3 5 | 12 8 2 4 9 1 7 5 | -型 2 | 14 | 10 0 6 | 13 


假设 输入 S 盒 的 输入 矢量 为 和 == (zozi…zs) 二 (010011)。 试 求 通过 选择 压缩 函数 
S 变换 后 的 输出 矢量 。 

7-3 对 下 面 的 每 种 情况 求 d, 并 给 出 (eXd)( mod )==1: 

©@ p=5,g=11,e=3; 

© p=3,g=41,e=23; 

加 p=5,g=23,e=59; 

@ p=47,g=59,e=17。 
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7-4 
了 5 
7-6 
7-7 
7-8 
7-9 


用 公开 密 钥 (e,n) 二 (5,51) 将 报 文 ABE`. DEAD 用 A 二 01,B 二 02,… 进 行 加 密 。 
用 秘密 密 钥 (d,n) 二 (13,51) 将 报 文 4,1,5,1 解密 。 

用 公开 密 钥 (e,n) 二 (3,55) 将 报 文 BID HIGH 用 01 二 A,02 二 B,… 进 行 加 密 。 

用 秘密 密 钥 (d,n) 二 (5,51) 将 报 文 4,20,1,4,20,5,4 解密 。 

用 (ds ,ns) 二 (7,39) 和 (ea ,na) 二 (5,21) 签 署 报 文 ED。 

用 (da ,na) 二 (5,21) 和 (eg ,ns) 二 (5,51) 验 证 签名 的 数值 17,1 是 发 送 者 (N,A) 的 
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网 络 信息 理论 简介 人 


前 面 各 章 所 讨论 的 都 是 只 有 一 个 输入 信 源 和 一 个 输出 信 源 的 单 用 户 通信 系统 。 随 着 空 
间 通 信和 计算 机 网 络 通信 技术 的 发 展 ,实际 的 通信 系统 ,如 卫星 通信 系统 、 计 算 机 网 络 、 电 话 
交换 网 等 ,信道 的 输入 端 和 输出 端 涉 及 两 个 或 两 个 以 上 的 信 源 和 信和 宿 , 构 成 了 多 用 户 通信 系 
统 。 信 息 论 的 研究 也 从 单 用 户 通信 系统 发 展 到 网 络 通信 系统 。 本 章 将 对 网 络 信息 论 进行 初 
步 介 绍 和 讨论 ,其 中 包括 网 络 信道 的 分 类 、 网 络 信 道 的 信道 容量 和 网 络 中 相关 信 源 的 信 源 编 
码 等 内 容 。 


8.1 概论 


香农 于 1961 年 发 表 的 论文 Two-way Communication Channels( 双 向 通信 信道 ) 首 次 将 
信息 论 方法 引入 通信 网 信息 传输 问题 的 研究 ,该 论文 研究 了 处 于 地 理 上 不 同位 置 的 两 个 信 
源 两 个 信 宿 所 组 成 的 最 小 通信 网 中 的 信息 传输 问题 ,在 理论 上 引入 了 不 少 新 的 概念 ,但 在 
当时 并 未 引起 广泛 的 重视 。 

20 世纪 70 年 代 随 着 卫星 通信 和 计算 机 网 络 通 信 的 发 展 ,通信 和 网 的 拓扑 结构 趋 于 多 样 
化 ,用 基于 单 信 源 、 单 信 宿 的 信息 理论 已 无 法 分 析 通 信和 网 的 信 源 编码 和 信道 容量 等 问题 ,这 
才 使 网 络 信息 论 研究 得 到 重视 。1971 年 Ahlswede 提出 了 多 径 (multi-way) 通 信 信 道 ; 1972 
年 Liao 提出 了 多 址 接 入 (multiple access) 信 和 道 ,给 出 了 接 入 信道 的 信道 容量 区 域 ; Cover 提 
出 广播 (broadcast) 信 道 ,引入 了 研究 广播 信道 的 一 种 编码 方法 ; 1973 年 Siepian 和 Wolf 提 
出 相关 信 源 (correlated information sources) 编码 , 1975 年 Carteial 提 出 多 端 (multi- 
terminal) 通信 网络 , 同年 Wolf 提出 多 用 户 (multi-user) 通信 信道 ,1977 年 IEEE 
Transactions on IT 出 版 了 有 关 多 端 信道 编码 的 专集 ,同年 Berger 提出 多 端 信 源 编码 。 至 
此 ,用 信息 论 方法 研究 通信 网 的 问题 全 面 展 开 。 为 区 别 于 信息 论 的 早期 研究 领域 ,把 早先 研 
究 的 领域 称 为 点 对 点 (point-to-point) 信息 理论 ,而 把 新 领域 称 为 多 端 (multi-terminal) 信 
息 理论 或 多 用 户 信息 理 论 或 网 络 信息 理论 。 

近年 来 , 随 着 以 计算 机 为 中 心 的 互联 网 迅速 发 展 以 及 卫星 通信 ,光纤 通信 和 移动 通信 的 
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发 展 ,使 通信 的 范围 扩大 ,形成 全 国 性 甚至 全 球 性 的 通信 网 络 。 这 些 通信 网 都 是 复杂 的 信息 
流通 系统 ,信息 是 在 众多 用 户 和 多 方向 中 流通 的 。 与 通信 网 相 类 似 的 超大 规模 集成 电路 ,在 
一 块 单 片 上 就 有 数 千 万 个 电路 和 元 件 , 这 些 电 路 与 元 件 也 构成 了 一 个 复杂 的 信息 流通 网 络 ， 
它们 内 部 之 间 的 信息 传输 也 可 归纳 为 网 络 通信 的 问题 。 甚 至 一 台 计 算 机 内 部 ,其 各 部 分 之 
间 彼 此 的 联系 也 构成 了 一 个 网 络 。 人 怎样 在 这 些 网 络 通信 系统 中 有 效 和 可 靠 地 传输 信息 ,是 
网 络 信息 论 所 要 研究 的 问题 。 完 整 的 网 络 信息 理论 对 于 通信 网 和 计算 机 网 的 设计 有 着 广泛 
的 、 重 要 的 指导 意义 。 

网 络 信息 论 研究 的 主要 内 容 : 

(1) 网 络 信道 的 信道 容量 。 这 种 信道 的 容量 不 能 简单 地 用 一 个 实数 表示 ,可 传输 的 信 
息 率 也 不 能 用 正 实 轴 上 一 个 区 间 来 代表 ,而 需 用 多 维 空间 中 的 一 个 区 域 来 表示 。 

(2) 网 络 信道 的 信道 编码 定理 。 即 证 明 在 网 络 的 信道 容量 范围 内 ,一 定 有 一 种 编码 方 
式 , 能 够 可 靠 地 传输 信息 。 

(3) 相关 信 源 的 信 源 编码 问题 。 研 究 相 互 关联 的 多 个 信 源 进行 无 失真 和 有 失真 编码 时 
的 可 达 速 率 区 域 。 

20 世纪 末期 ,网 络 信息 理论 攻 勃 发 展 , 针 对 各 种 具体 的 信 源 和 信道 ,发 表 了 许多 文献 ， 
得 出 了 许多 重要 结论 。 多 址 接 入 信道 在 理论 上 讨论 比较 完善 ,但 具有 反馈 的 多 址 接 入 信道 
的 容量 问题 尚 没有 解决 。 广 播 信 道中 对 退化 广播 信道 的 研究 较 深入 ,解决 了 一 些 特殊 情况 
下 的 容量 问题 ,而 一 般 广播 信道 的 容量 问题 尚未 解决 。 关 于 一 般 中 继 信道 容量 问题 和 一 般 
双向 信道 容量 问题 也 未 解决 。 而 串扰 信道 的 研究 才刚 开始 。 相 关 信 源 编码 方面 也 还 有 许多 
问题 没有 解决 ,如 一 般 网 络 的 相关 信 源 编码 , 限 失真 下 相关 信 源 编码 等 问题 。 总 之 ,网 络 信 
息 论 尚 在 发 展 之 中 ,还 没有 一 套 完整 的 理论 ,需要 人 们 不 断 探 索 发 现 。 尽 管 网 络 信息 理论 很 
复杂 ,即使 将 来 能 够 发 现 这 样 的 理论 ,也 可 能 由 于 太 复 杂 而 不 易 实现 ,但 这 样 的 理论 可 以 使 
通信 设计 者 知晓 实际 网 络 与 最 优化 的 距离 ,也 可 以 启发 设计 者 获得 一 些 提高 通信 系统 性 能 
的 手段 。 


8.2 网 络 信道 的 分 类 


网 络 信道 可 分 成 下 列 几 种 典型 类 型 。 

1. 多 址 接 入 信道 

多 址 接 入 信道 (multiple access channel, MAC) 是 指 有 多 个 信道 输入 信号 ,但 只 有 一 个 
信道 输出 信和 号 的 信道 ,信道 的 多 个 输入 端口 可 供 多 个 信 源 同时 接 入 。 接 入 信道 的 各 个 信 源 
在 地 理 上 是 分 散 的 ,所 以 信 源 编码 和 信道 编码 都 必须 分 散 进行 ,如 图 8-1 所 示 。 

例如 ,卫星 通信 系统 中 M 个 地 面 站 同时 与 一 个 公用 卫星 通信 的 上 行 线 路 就 是 多 址 接 入 
信道 的 实例 。 在 通信 工程 中 ,多 址 接 和 人 是 用 时 分 、 频 分 或 码 分 等 方法 将 一 个 物理 信道 分 成 若 
干 独立 的 子 信道 来 实现 的 。 因 此 ,各 输入 信号 被 局 限 在 某 种 互 不 相交 的 子 空间 内 ,而 在 用 信 
息 论 观点 分 析 多 址 接 和 人 信道 时 就 没有 这 样 的 限制 。 

2. 广播 信道 

将 多 址 接 入 信道 中 的 信息 流向 全 部 反 过 来 就 得 到 广播 信道 (broadcast channel, BC)。 
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信 源 1 | 一 一 | 编码 器 1 | 一 一 中 
tw 加 “| Y 
信 源 2 [一 | 编码 器 2 一 | 信道 -| 译 码 器 Ui 


Uy Xu uw 
信 源 M | 一 | 编码 器 M 


图 8-1 多 址 接 人 信道 


它 的 特点 是 有 单一 输入 端口 和 多 个 输出 端口 ,如 图 8-2 所 示 。 多 个 不 同 信 源 的 信息 经 过 一 
个 公用 的 编码 器 后 送 入 信道 。 由 于 各 输出 端口 在 地 理 上 是 分 散 的 ,各 输出 端口 处 信号 受 干 
扰 的 情况 也 不 相同 ,因此 译 码 只 能 分 散 独立 进行 。 与 一 般 的 广播 概念 不 同 的 是 ,各 信 宿 要 接 
收 的 信息 并 不 一 定 相同 。 


) 

信 源 | | 一 1 译 蚂 器 | | = 局 
| RE 站 | hb 

信 源 2 | 和 一 | 编码 器 | | 

: La 译 码 器 M | = 二 

Uy 于 M 


信 源 M 
图 8-2 广播 信道 


例如 ,卫星 与 M 个 地 面 站 的 下 行 通信 系统 可 看 成 是 广播 信道 。 中 转 卫 星 将 来 自 各 地 面 
站 的 信息 经 过 编码 后 统一 发 回 地 面 ,各 地 面 站 经 过 各 自 的 译 码 器 译 出 所 需 信息 。 在 工程 上 ， 
M 个 信 源 以 广播 形式 向 M 个 信 宿 传送 信息 一 般 可 采用 时 分 方式 ,但 时 分 方式 不 一 定 是 最 佳 
的 。 利 用 信息 论 方法 的 目的 就 是 研究 这 种 信道 传送 信息 的 最 佳 方式 以 及 信道 的 容量 域 。 

3. 中 继 信道 

中 继 信道 (relay channel) 可 以 看 成 广播 信道 和 多 址 接 入 信道 的 组 合 ,是 一 对 用 户 之 间 
经 过 多 种 途径 中 转 所 进行 的 单 向 通信 ,如 图 8-3 所 示 。 它 有 一 个 输入 信号 X 和 一 个 输出 信 
号 Y。 输 入 信号 以 广播 形式 同时 送 往 中 继 点 和 终点 。 中 继 微波 接力 通信 系统 就 属 这 类 模 
型 ,一 对 地 面 站 可 经 一 个 或 多 个 卫星 中 转 或 者 经 地 面 通信 转 接 而 实现 单 向 通信 。 


EP 站 一 | 译 码 器 | 一 


图 8-3 中 继 信道 


4. 双向 信道 

双向 信道 (two-way channel) 有 两 个 发 送 端 和 两 个 接收 端 , 如 图 8-4 所 示 。 信 源 1 发 送 
信息 到 接收 端 1, 信 源 2 发 送信 息 到 接收 端 2。 信 源 1 和 接收 端 2 在 一 端 , 信 源 1 可 以 利用 
接收 端 2 提供 的 相关 信息 来 优化 调整 发 送 策略 ; 信 源 2 和 接收 端 1 在 另 一 端 , 信 源 2 也 可 
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以 利用 接收 端 1 所 提供 的 相关 信息 来 调整 发 送 策略 。 


一 | 译 码 器 1 一 | 接收 端 1 


祝 源 1 


编码 器 2 < 信 源 2 


接收 端 2 


图 8-4 双向 信道 

许多 实用 信道 本 质 上 都 是 双向 信道 。 如 串扰 信道 ,就 是 当 信 源 1 发 送 的 信号 经 信道 串 
至 同一 端 接收 2 时 形成 的 ; 又 如 反馈 信道 ,其 实 是 双向 信道 的 一 个 特例 , 正 向 信道 传送 信 
息 , 反 向 信道 用 来 将 接收 信号 反馈 给 发 送 端 。 

在 通信 工程 中 ,双向 信道 是 将 一 个 物理 信道 用 时 分 或 频 分 复 用 分 成 两 个 独立 信道 来 实 
现 的 。 但 从 信息 论 的 观点 来 看 ,用 这 种 方法 实现 双向 通信 不 一 定 是 最 好 的 。 因 此 ,需要 寻找 
最 好 的 双向 通信 方法 ,并 求解 双向 信道 的 容量 域 。 

5. 多 端 网 络 

由 多 个 信 源 和 多 个 信 宿 经 过 多 个 信道 组 成 的 多 端 网 络 (multiterminal network) 系统 ， 
一 般 要 用 图 论 方法 研究 其 中 任 一 信 源 到 任 一 信和 宿 之 间 的 信息 流 。 设 有 m 个 信 源 、n 个 信和 宿 
的 信道 可 用 转移 概率 py ,ys，… ,yn |z1 ,Ts，… ,zm) 表 示 网 络 中 所 有 噪声 和 干扰 的 影响 ,如 
图 8-5 所 示 。 


信 源 1 一 -| 编码 器 1| 2 -| 7 | 详 码 器 !| | 信 宿 1 
号 
和 
os ， 
信 斋 | 径 -| 编码 先 || 宇通 上 | 译 码 串 2 | 一 一 | 信 从 2 
三 一 信 
和 mR 
Mv/ 
MA 
八 
A 
/ \ 
{Un 部 状 二 yn 
信 源 m 一 一 | 编码 器 mm 一 一 | 译 码 器 n | 一 一 | 信 宿 ” 


图 8-5 多 用 户 通信 网 


为 了 分 析 简 单 ,可 定义 一 些 基 本 的 网 络 信道 类 型 ,如 单 向 信道 .多 址 接 入 信道、 广播 信 
道 . 中 继 信道 、 带 反馈 的 单 向 信道 等 ,这 样 ,复杂 的 通信 网 络 就 可 分 解 为 多 个 上 述 基 本 类 型 ， 
从 而 便于 分 析 研究 。 


8.3 网 络 信道 的 信道 容量 志 
8.3.1 离散 多 址 接 入 信道 


多 址 接 入 信道 是 理论 上 解决 得 较 完善 的 一 类 网 络 信道 ,其 通信 模型 如 图 8-1 所 示 。 这 
类 信道 最 典型 的 例子 就 是 卫星 通信 的 上 行 线路 。 许 多 彼此 独立 的 地 面 站 同时 将 各 自 的 消息 
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发 送 到 一 个 卫星 接收 器 。 为 了 信息 的 可 靠 传输 ,各 发 送 者 不 但 要 克服 信道 噪声 ,而 且 还 要 克 
服 各 发 送 端 彼 此 之 间 的 串扰 。 本 节 以 讨论 离散 二 址 接 入 信道 为 例 , 深 入 分 析 其 容量 ,其 结果 
将 不 难 推广 到 多 址 接 和 人 的 情况 。 

两 个 发 送 端 ,一 个 接收 端的 离散 多 址 接 人 信道 如 图 8-6 所 示 。 


Xl 
信 | = | 编 se 
信 源 U1 编码 器 | | 未 
xD) 有 
信 源 码 | = | 编码 器 人 


8-6 ”二 址 接 人 离散 无 记忆 信道 


输入 信 源 空间 X， 和 X,, 设 信道 编码 采用 码 长 为 N 的 复合 分 组 码 (2wR ,2MR: ,N) ,其 中 
2Mg 和 2xg: 分 别 是 与 长 度 为 N 的 码 字 对 应 的 两 个 信 源 中 的 消息 数 , 即 信 源 1 的 消息 集 为 
Mi 一 (1,2,…，*2xg ) , 信 源 2 的 消息 集 为 M: = (1,2,…'，2xg: )。 在 发 送 时 ,信道 编码 器 /1 和 
户 分 别 将 两 个 信 源 消息 映射 成 码 字 习 一 (za ,ms 1s) EE XY 和 Xs 二 (za 2) 
XY 。 在 接收 端 ,信道 传递 输出 为 随机 序列 ?一 Cw ,yw ,…,w) EYx , 译 码 器 根据 接收 信号 恢 
复 信 源 的 消息 。 信 道 特性 由 转移 概率 PCy|xi ,xs) 来 表示 , 当 信 道 是 离散 无 记忆 时 ,满足 


ply | za) = [I ply; | xisza) (8-3-1) 
i=1 


编码 函数 为 有 :Mi 一 XY ,f;:M, 一 X2 , 译 码 函数 为 g 二 Y* 一 Mi XM,。 
由 于 信道 噪声 的 作用 , 译 码 器 的 输出 并 不 总 能 和 发 送 的 消息 一 致 ,其 平均 差错 概率 为 
P.= 2) plsi,s)p(g(YN) 天 (ss)/ 发 Cs)) (8-3-2) 


(51 52) EM) M2) 
若 消息 5 ,ss 分 别 等 概 地 取 自 (1,2,… ,2 ) 和 (1,2,… ,2 ), 则 
P.= re 和 , P(gCY™) (m5) 发 (ess)) (98-30) 
此 时 信 源 1 和 信 源 2 的 信息 速率 为 R 和 R: 。 信 源 的 信息 速率 还 不 是 信道 传输 信息 的 速 
率 ,但 如 果 信 道 编码 能 使 P.~>0, 则 R! 和 R。 即 为 信 源 通过 信道 传输 信息 的 速率 。 将 存在 信 
道 编码 ,使 P.~>0 的 速率 对 (Ri ,R: ) 称 为 可 达 速 率 对 (achievable rate pair) ,而 所 有 可 达 速 
率 对 的 集合 称 为 信道 的 信道 容量 域 。 信 道 容量 域 的 这 种 定义 方法 把 信道 编码 和 信道 容量 域 
联系 在 一 起 ,对 工程 实现 来 说 特别 有 吸引 力 。 但 这 种 定义 方法 并 不 能 给 实际 信道 中 信道 容 
量 的 计算 带 来 任何 捷径 ,这 是 因为 寻找 最 佳 信道 编码 对 多 址 接 和 信道 来 讲 仍 是 一 个 困难 的 
问题 。 迄 今 为 止 ,香农 提出 的 随机 编码 的 概念 仍然 是 在 这 一 定义 下 计算 信道 容量 的 唯一 方 
法 。 下 述 定理 就 是 利用 随机 编码 的 概念 给 出 二 址 接 人 信道 的 信道 容量 域 的 。 
定理 8-1 二 址 接 人 信道 [Xi XX,,p(y|xzi,zs),Y] 的 容量 区 域 ,由 满足 下 述 凸 过 的 闭 
包 给 定 
CR = (RR 
0 
0<R+R, <ICX, X,Y)} (8-3-4) 
其 中 p(xzi,zz) 二 pi(z1)pz (zz),C(Pi.P;) 是 在 乘积 空间 X; XX 上 对 所 有 可 能 的 输入 概 
率 分 布 求 得 的 可 达 速 率 对 (R ,Rs) 的 集合 。 
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对 于 某 一 特定 的 输入 分 布 p(xz1)ps(zs), 其 可 达 速 率 域 如 图 8-7 所 示 。 首 先 来 观察 一 
下 区 域 中 的 几 个 顶点 。 


CV:) 


XYIX) 4 


XY) 


gg a 
人 RI 
XY) MX;YIX;) TD 


图 8-7 二 址 接 入 信道 的 可 达 速 率 域 
B 点 相对 于 当 发 送 者 2 不 传送 任何 信息 时 ,发 送 者 1 可 传送 的 最 大 信息 率 。 由 式 
I(X1, X23Y)= H(Y) — H(Y | Xi,X;) 
= I(X1;Y | X2) + I(X2;Y) 


0 


= I(X;Y | X1) + I(X;Y) (8-3-5) 
可 得 
I(XisY | X2) — I(XisY) = I(Xs3Y | Xi) 一 TICX:3Y) 过 0 (8=3-6) 
可 见 ,此 时 发 送 者 1 可 传送 的 信息 率 大 于 单 用 户 的 情况 。 现 在 
C 一 maxR, = max TOXI3Y | X;) (8-3-7) 


向 (zl)p2(z2) 
对 于 任意 分 布 pi (zx1)pz(xs), 有 
FOXY | Wi)= DBI | Ny 


X2 
maxI(Xi;Y | Xs = zz) (8-3-8) 
2 


上 式 成 立 是 因为 平均 值 小 于 最 大 值 。 所 以 , 式 (8-3-8) 的 最 大 值 是 在 X: =zs 时 达到 ,zs 是 
使 Xi 与 了 之 间 的 条 件 平均 互信 息 达 到 极 大 时 的 值 ,Xi 的 概率 分 布 选 择 是 使 其 平均 互信 息 
达到 极 大 值 。 因 此 , 当 X:=z* 时 ,Xs 必定 起 到 提高 Xi, 的 信息 传输 能 力 的 作用 。 

D 点 是 对 于 发 送 者 1 以 其 最 大 的 信息 传输 率 发 送 时 ,发 送 者 2 能 够 发 送 的 最 大 信息 传输 
率 。 这 个 值 是 在 信道 中 将 X 传送 到 Y, 而 把 Xi 看 作为 噪声 而 求 得 的 。 此 时 ,相当 于 X 以 信 
息 率 TICXs ;Y) 在 单 用 户 信道 中 传输 的 结果 。 因 为 TCX:;Y) 一 TICX ,Xs;Y) 一 ICXY|Xs)， 
所 以 , 当 接 收 端 知道 Xs* 的 码 字 也 在 发 送 时 ,就 要 在 信道 传输 的 结果 中 将 X; 的 码 字 “ 减 ” 

区 域 中 的 点 A 和 C 与 点 B 和 D 有 相似 的 含义 。 

从 式 (8-3-4) 可 知 , 当 给 定 某 个 输入 分 布 p (zi,zxs) 三 pi(zx1)ps (xs), 可 得 某 区 域 
CCP, ,P:) ,不 同 的 输入 分 布 可 得 不 同 的 区 域 。 因 此 二 址 接 和 人 信道 的 容量 区 是 所 有 可 能 
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CCPi,P;) 的 凸 闭 包 (closure of the convex hull) ,如 图 8-7 所 示 , 它 是 一 个 多 角形 的 凸 包 。 
图 中 
人 二 


加 (x1 p22) 


C= max I(Xs;Y | X1) (8-3-9) 


PI x) pa (ra) 


Ci 一 max I(X,,X,;Y) 


P11) pa (x2) 


上 述 结论 很 容易 推广 到 T 个 独立 发 送 端的 一 般 情 况 。 已 知 条 件 概率 p(y|zi ,zs，…， 
ZT) ,此 时 各 发 送 端 可 达 速 率 范围 为 
R<C= max XsY | XXX XT) (一 1,2,…,T) (8-3-10) 


Pl Cz) pT 
例 8-1 二 址 独立 的 二 元 对 称 信道 的 容量 区 域 。 两 个 独立 的 二 元 对 称 信道 ,发 送 者 X， 
和 发 送 者 X。* ,接收 端 了 ,如 图 8-8 所 示 。 
根据 前 面 章节 的 知识 ,可 计算 得 第 一 信道 的 信道 容量 C= 二 1 一 HH(p1), 此 时 pi(0)= 
p1(1) 二 1/2,pa(0) 十 ps(1) 二 1; 第 二 信道 的 信道 容量 为 Cs 二 1 一 HH(ps), 此 时 ps (0) 王 
pz(1) 二 1/2,p1(0) 十 p1(1) 二 1。 因 为 这 两 信道 是 互相 独立 的 ,所 以 没有 彼此 干扰 ,Ci = 
Gi 二 Cs 二 2 一 HG(p1) 一 H(ps) ,此 时 p1(0)==p1(1)==1/2,ps(0) 二 ps(1) 二 1/2。 它 的 信道 容 
量 区 域 如 图 8-9 所 示 。 


Cn 
0 mo 
Xl pi 
及 Cs=1-H( p») 7 
1 . 4 
1 一 户 AAA 
2 
Pp 
> 2 © 四 1 
1 1 CFI-H(p') Cn RI 
图 8-8 ”独立 的 二 进 制 对 称 信道 图 8-9 独立 二 进 制 对 称 信道 的 容量 


例 8-2 ”二 址 接 人 二 元 和 信道 的 容量 区 域 。 设 信道 两 个 输入 X 和 X* 均 取 值 于 {0,1); 
信道 输出 Y 为 两 个 输入 的 代数 和 , 即 了 = Xi 十 X:,YE{0,1,2}。 信 道 无 干扰 时 ,其 转移 概 
率 p(y|zxi,xz) 如 表 8-1 所 示 。 可 用 图 8-10 来 表示 ,该 信道 等 价 于 一 个 有 4 个 输入 端 、3 个 
输出 端的 无 扰 有 损 信道 。 


表 8-1 转移 概率 
芝 
ZX1 ,XT2 plylz1 72) 和 
00 1 0 0 
01 0 下 0 
10 0 1 0 
11 0 0 1 
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根据 式 (8-3-4) ,二 址 接 人 信道 的 可 达 速 率 对 CR, ,R:): RI<I(X,;Y|X;,),R, 寺 I(X,; 
YIX)RtR <ICXi XY), HF HCY IX 7 三 六 所 以 工 和 7， KasY)=H(Y)= 
H(Y|Xi ,Xs)= 二 H(Y); 当 X 一 zs 时 ,如 图 8-11 所 示 Xi 与 Y 是 一 一 确定 对 应 的 传输 , 即 
H(Xi|XssY)=0; 所 以 TC(Xi3Y1Xs)=H(Xi|Xi)—H(Xi|X:,Y)=H(XI); 同 理 
H(Xs|X1,Y)==0, 所 以 I(X,;Y1Xi) 二 HH(Xs)。 据 此 可 计算 得 

C=maxH(X)=1bit, 此 时 p1(0)=p1(1)=1/2,p;(0)+ps(1)=1 


P(x1) 


C:=maxH(X,)=1bit, 此 时 ps(0)=ps(1)=1/2,p1(0)+p1(1)=1 


polx2) 


Cz 二 max 五 (Y) 王 1.5bit, 此 时 加 (0) 一 思 (1) 一 加 (0) 一 加 (1) 一 1/2。 信 道 的 容量 


PI x1) pa (x2) 
区 如 图 8-12 所 示 。 
人 ,大 Yr =0 mo=1 
00 = 一 -0 加 了 xl 了 
1 0 一 0 0 ! 一 1 
01 
ii ， 区 机 
11 2 1 1 
8-10 无 扰 二 元 和 信道 图 8-11 已 知 Xs 时 的 无 扰 二 元 信道 


Ry/bit 


0 05 C=1 Co=1.5 Ribit 


图 8-12 二 址 二 元 和 信道 的 容量 区 域 


8.3.2 高 斯 多 址 接 入 信道 


高 斯 多 址 接 入 信道 是 多 址 接 入 信道 的 重要 实例 。 在 这 个 信道 中 ,各 信 源 发 送 的 信号 在 

接收 端 相 加 ,并 受 加 性 高 斯 噪声 (均值 为 零 , 方 差 为 避 ) 的 干扰 。 即 信道 输出 
玉 寺 所 
i=1 

二 址 (xm 二 2) 时 , 设 X 和 X, 均 是 取 值 于 (一, 吕 } 的 随机 变量 ,概率 密度 分 别 为 
pa (zi) 和 p;, (zs) ,并且 信 和 号 平均 功率 受 限 ,分 别 为 ELXf]<<Ps, ,ELX3] 入 Ps, ,信道 干扰 为 
高 斯 白 噪 声 ,其 均值 为 零 , 方 差 为 。 信 道 输出 了 二 Xi 十 X; 十 Z, 因 为 输入 信号 Xi 、X; 与 Z 
相互 独立 ,所 以 E[Y?]=Ps 十 Ps, 十 只。 

前 面 介绍 的 关于 离散 多 址 接 入 信道 的 可 达 速 率 区 域 , 同 样 可 以 用 于 多 址 接 入 高 斯 信道 。 
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按 条 件 式 (8-3-4)、 式 (8-3-5)、 式 (8-3-6) 所 得 高 斯 二 址 接 人 信道 的 容量 域 为 
P 


R<C= max 1Xi;Y|X)= de(1+ > ] 

CnDpas (x2) 2 On 

光 1 Ps 

Ri<C= max ICXsY | Xi) = log|1+- 2 (8-83-11) 

pr, EDPr, (zz 2 0 

Ps +P 
RR<Cs= max I(Xi,X;Y) = yesl | 
pr (1) pr, (32) 2 


如 图 8-13 所 示 ,这 个 由 所 有 可 达 速 率 对 组 成 的 凸 包 是 一 个 凸 五 边 形 。 在 图 8-13 容量 域 中 ， 
各 顶点 的 物理 含义 与 固定 输入 分 布 时 离散 多 址 接 入 信道 中 各 角 点 的 物理 含义 相似 。B 点 是 
发 送 者 1 能 传送 的 最 大 信息 传输 率 ,D 点 是 发 送 者 1 传送 最 大 信息 率 情况 下 ,发 送 者 2 所 能 
传送 的 信息 传输 率 。 


Rh 


Cua-C CI Cr RI 
图 8-13 “高 斯 二 址 接 入 信道 的 可 达 容 量 域 
为 了 书写 简便 ,定义 C(z) 二 去 log(1 十 z)。 
在 高 斯 信道 情况 下 ,可 以 把 译 码 考虑 成 两 步 : 第 一 步 ,接收 端 处 将 发 送 端 1 看 成 噪声 的 


一 部 分 , 先 将 发 送 端 2 的 码 字 译 码 出 来 。 车 尼 一 C[ Ps 二 , 评 码 错误 概率 能 任意 小 。 第 
SI 站 


二 步 ,将 已 成 功 译 出 的 发 送 喘 2" 减 "去 , 若 已 一 c| 全 ]. 则 发送 中 1 的 码 字 能 成 功 地 被 译 


出 。 所 以 ,容量 区 域 中 各 个 角 点 的 速率 对 是 可 达 的 。 

但 在 实际 应 用 的 多 址 接 入 高 斯 信道 中 ,采用 不 同 的 多 址 复 用 接 入 方式 所 能 达到 的 速率 
区 域 是 不 同 的 。 如 经 常 采 用 的 时 分 多 路 通信 方式 ,就 不 是 最 佳 的 方案 。 若 两 发 送 端 各 占 一 
半 的 传送 时 间 ,那么 可 达 容 量 区 域 只 是 图 8-13 中 直线 AB 所 围 的 三 角 区 域 ,这 种 时 分 方式 
的 容量 区 域 变 得 小 很 多 。 若 设 在 总 传送 时 间 工 内 ,QT 用 来 传送 Xi, (1 一 Q)T 工 用 来 传送 
X; ,其 中 0 委 Q 过 1。 那 么 在 传送 Xi 时 ,X, 二 0; 在 传送 X: 时 ,Xi 三 0。 若 保持 平均 功率 不 


» 更 
变 , 则 传送 Xi 时 功率 可 以 提高 到 忆 ,而 Xs 功率 可 提高 到 一 6。 可 得 
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Q Ps = 
Ri < io (1+ (8=3=-12) 
C= Ps 
中 过 1 - 
2 委 - 了 oe(1+ 0 


Q 不 同时 ,得 到 不 同 的 (Ri ,R,), 式 (8-3-12) 给 出 的 可 达 速 率 区 是 图 8-13 中 曲线 AEB 所 
决定 的 区 域 。 显 然 ,除了 Q=1,Q=0 和 Q= Ps /(Ps, 十 Ps ) 即 BAWE 三 点 外 ,其 他 情况 
都 在 容量 界线 ( 截 角 矩形 ) 之 下 。 可 见 在 时 分 方式 下 ,C.D 点 对 应 的 速率 对 是 达 不 到 的 。 

对 于 频 分 多 路 通信 方式 ,每 个 发 送 者 的 传输 速率 依赖 于 所 允许 传输 的 带宽 。 考 虑 信号 
功率 分 别 为 Ps 和 Ps 的 两 个 发 送 端 , 所 占 带宽 为 W， 和 Ws。 这 两 带宽 不 重 琶 , 且 总 带宽 
WW 二 Wi 十 W。 令 Q=Wi/W 是 发 送 者 1 所 占 带 宽 比 ,(1 一 Q) 二 W/W 是 发 送 者 2 所 占 带 
宽 比 ,可 达 速 率 对 是 


了 
二 去 Poe (1 而 : 训 ] 


Nw 
i Pp (8-3-13) 
< SS 
Ng oe(1+] 
其 中 NN, 为 噪声 功率 谱 密度 。 将 Q 和 (1 一 Q) 代 入 ,可 得 类 似 式 (8-3-12) 的 公式 
Pp 
Ri < Qo [1 生 Ni ) (8-3-14) 
Ud-Q Ps, 
RS 5 is 人 | NW ) 


因此 ,改变 W; 和 WW,( 即 Q 不 同时 ), 式 (8-3-14) 给 出 的 可 达 速 率 区 也 为 图 8-13 中 曲 
线 AEB 所 决定 的 区 域 。 

在 相同 的 平均 功率 约束 下 ,时 分 多 址 和 频 分 多 址 可 达到 的 信息 传输 速率 均 小 于 理论 给 
出 的 容量 域 。 但 适当 设计 时 隙 分 配 或 带宽 分 配 的 比例 ,时 分 多 址 和 频 分 多 址 都 可 使 速率 达 
到 理论 容量 域 所 给 的 最 大 值 。 

码 分 多 址 技术 中 所 有 信道 输入 信和 号 都 占用 信道 的 全 部 带宽 和 时 间 , 各 信号 间 不 存在 时 
院 分 配 或 带宽 分 配 问 题 。 因 此 , 码 分 多 址 的 可 达 速 率 域 与 理论 容量 域 一 致 。 在 这 个 意义 上 ， 
可 认为 码 分 多 址 是 比较 理想 的 方式 。 


8.3.3 广播 信道 


广播 信道 是 具有 一 个 输入 端 和 多 个 输出 的 信道 。 实 际 的 电视 广播 和 语音 广播 属于 这 类 
信道 ,卫星 向 各 地 面 站 通信 的 下 行路 线 也 是 属 广播 信道 。 这 类 信道 ( 简 记 为 BC) 最 早 由 
Cover(1972 年 ) 提 出 ,如 图 8-2 所 示 。 

广播 信道 研究 的 基本 问题 就 是 找 出 容量 区 。 但 迄今 为 止 ,即使 在 只 有 两 个 接收 端的 情 
况 下 ,一 般 的 信道 容量 区 域 仍 没 有 得 到 解决 。 只 是 在 一 些 特殊 条 件 下 ,已 求 得 它们 的 信道 容 
量 区 域 。Cover(1972 年 ) ,artonk(1979 年 ) 和 Gamal(1979 年 ) 分 别 讨 论 了 容量 区 域 的 若干 
内 外 界 。Gamal 还 给 出 了 特殊 条 件 下 的 容量 区 域 ,但 对 一 般 离 散 无 记忆 广播 信道 ,这 个 问 
题 尚未 解决 。 只 有 降 阶 的 广播 信道 的 容量 区 域 由 Bergmans(1973 年 ) ,Gallager(1974 年 ) 
和 Komer-Marton(1977 年 ) 给 予 了 解决 。 
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最 简单 的 广播 信道 只 有 两 个 接收 端 ,其 输入 X, 符 号 集 为 fa}; 输出 为 Y 和 2, 它 们 的 
符号 集 为 {5;) 和 {5}。 信 和 道 的 传递 概率 为 P(y,z|z)。 对 于 接收 端 Y 来 说 ,条 件 边缘 概率 
PG 1a) = PC,z | 如; 对 于 接收 喘 了 来 说 ,条 件 边缘 概率 Pz | z) 一 >)P Cy,z | 2)。 

所 要 研究 的 是 ,在 一 个 信道 中 要 发 送 不 同 的 消息 给 每 个 接收 端 ,而 且 每 个 接收 端 所 对 应 
的 信道 传递 矩阵 是 不 相同 的 。 

例 8-3 法语 和 英语 演讲 者 。 考 察 这 样 一 个 例子 : 有 一 位 会 讲法 语 和 英语 的 演讲 者 ,并 
假设 这 位 演讲 者 对 每 种 语言 的 词汇 量 约 有 2” 个 字 ( 为 了 计算 简便 )。 现 有 两 位 听 者 ,他 们 中 
一 位 只 能 听 懂 法 语 , 另 一 位 只 能 听 民 英语。 他 们 虽 听 不 懂 对 方 国家 的 语言 ,但 他 们 能 识别 出 
是 法 语 还 是 英语 。 又 假设 演讲 者 每 秒 钟 说 一 个 单词 (无 论 是 法 语 还 是 英语 ) 。 

如 果 所 有 时 间 内 ,演讲 者 只 讲法 语 。 那 么 他 每 秒 传送 20bit 信息 给 接收 者 1 (法语 听 
者 ) ,而 传送 0bit 信息 给 接收 者 2( 英 语 听 者 )。 同 样 ,他 能 以 每 秒 传送 20bit 信息 给 接收 者 
2, 而 没有 传送 任何 信息 给 接收 者 1。 因 此 ,在 这 种 时 间 分 割 传 送 情况 下 ,他 能 达到 的 速率 对 
Ri+R,=20bit/s。 

如 果 演 讲 者 采用 一 半 时 间 讲 法 语 , 一 半 时 间 讲 英语 的 方式 来 传送 信息 , 若 传送 100 个 单 
词 ,将 出 现 一 半 (50 个 单词 ) 是 法 语 , 另 50 个 单词 是 英语 。 当 然 , 有 很 多 方式 在 这 100 个 单 
词 中 组 织 安排 法 语 和 英语 。 任 选 这 些 方式 之 一 给 两 位 听 者 传送 信息 。 这 样 ,他 能 以 每 秒 传 
送 10bit 信息 给 法 语 听 者 ,又 能 以 每 秒 传送 10bit 信息 给 英语 听 者 ,而 且 同 时 每 秒 传送 1bit 
公用 信息 给 两 位 听 者 (识别 是 法 语 还 是 英语 所 得 的 信息 )。 在 这 种 方式 下 ,总 的 可 达 的 传输 
速率 等 于 21bit/s, 这 是 大 于 前 面 时 间 分 割 传送 的 情况 ,这 也 是 广播 信道 的 一 个 具体 实例 , 它 
不 但 分 别传 送 不 同 的 信息 给 不 同 的 接收 者 ,而 且 还 给 他 们 传输 公用 的 信息 。 


8.4 ”网 络 中 相关 信 源 的 信 源 编码 


本 节 主 要 研究 多 个 相关 信 源 (correlated sources) 的 信 源 编码 问题 。 在 实际 通信 中 , 常 
常 某 个 信和 宿 或 多 个 信和 宿 收 到 来 自 不 同 信 源 的 编码 信息 。 各 信 源 所 产生 的 消息 可 能 是 独立 
的 ,也 可 能 是 相关 的 。 当 各 个 信 源 产生 的 消息 彼此 独立 时 ,就 可 分 别处 理 ,这 时 多 个 信 源 编 
码 问题 就 简化 成 几 个 单 信 源 通信 情况 的 信 源 编码 问题 。 当 各 个 信 源 产生 的 消息 彼此 相关 
时 ,各 信 源 可 采用 两 种 不 同 的 方法 对 消息 进行 编码 ,一 种 是 各 信 源 独立 地 对 各 自 产生 的 消息 
进行 编码 , 另 一 种 是 几 个 信 源 协同 地 对 所 产生 的 消息 进行 编码 。 


8.4.1 相关 信 源 编码 


由 于 各 个 信 源 所 处 的 作用 位 置 不 同 ,从 而 出 现 了 各 种 相关 信 源 编码 模型 。 如 图 8-14 所 
示 是 两 个 相关 信 源 和 两 个 相关 信 宿 的 模型 。 信 源 1 产生 消息 序列 za , 信 源 2 产生 消息 序列 
us ,分 别 输入 编码 器 1 和 编码 器 2 进行 编码 ,Ri 是 编码 器 i 到 译 码 器 j 的 信息 传输 率 。 两 个 
信 源 之 间 有 联系 ,编码 器 对 两 个 信 源 产生 的 消息 进行 协同 编码 。 

Slepian 和 Wolf 曾 分 析 研 究 了 两 个 信 源 和 两 个 译 码 器 之 间 可 有 16 种 不 同 的 连接 方式 ， 
其 中 最 有 意义 的 一 种 方式 如 图 8-15 所 示 , 它 也 是 网 络 信 源 编码 中 最 基本 的 一 种 结构 。 为 了 
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信 源 1 一 译 友 器 1| 下 
| 一 一 27 
详 码 器 2| 一 
信 源 2 一 ~] 编码 器 2 元 | | 
图 8-14 两 个 相关 信 源 和 两 个 信 宿 模型 
简便 ,可 令 信 源 1 和 信 源 2 均 为 离散 无 记忆 信 源 , 即 
Lb 
plu) = [lpGu), i=1,2 (8-4-1) 
信 源 1 和 信 源 2 的 联合 分 布 可 用 p(w zz) 表示 ,由 于 信 源 1 和 信 源 2 彼此 独立 ,所 以 
pluusuza) = plu) puz) (8-4-2) 
对 两 个 信 源 输出 的 消息 分 别 单独 进行 编码 ,独立 传输 ,再 通过 一 个 译 码 器 分 别 译 出 消息 。 
uy RI 
信 源 1 一 | 编码 器 1 
信 源 2 二 | 编 取 踢 ?| 


图 8-15 两 个 相关 信 源 编码 的 最 基本 结构 


在 第 2 章 中 讨论 可 知 , 对 于 单个 信 源 U 进行 编码 ,传输 信息 率 需 满足 RH(U), 才 能 
实现 无 失真 编码 ; 对 于 两 个 信 源 U 和 Us 联合 编码 ,传输 信息 率 需 满足 RH(Ui,U,), 才 
能 使 译 码 错误 概率 为 任意 小 。 现 在 对 于 两 个 信 源 分 别处 理 , 那 么 编码 器 1 和 编码 器 2 应 当 
各 选择 多 大 的 编码 速率 才能 实现 无 失真 编码 呢 ? 显然 ,同时 满足 Ri 一 H(U1) ,Rs 一 H(U,) 
时 ,肯定 能 实现 可 靠 传输 。 此 时 ,总 的 编码 速率 尺 二 Ri 十 Rs 三 阳 (01) 十 昌 (U;), 如 果 信 源 1 
和 信和 源 2 是 相关 的 , 则 R=H(U1) 十 HH(U;) 三 H(Ui,U,)。 网 络 信 源 编码 理论 证 明 中 ,只 要 
保证 编码 信息 率 R 二 有 H(Ui,U,), 即 使 当 信 源 1 和 信 源 2 独立 进行 编码 时 ,也 能 保证 译 码 器 
可 以 以 任意 小 的 错误 概率 恢复 两 个 信 源 的 输出 ,实现 无 失真 信息 传输 。 


U, 0 全 U, 
例 8-4 有 两 个 独立 信 源 U。 和 Ui, 概 率 分 布 为 | |-| 加 |= 
P 0.89 0.11 - 


1 
| ， |- 设 信 浙 Us 是 上 述 两 个 信 源 的 模 2 加 , 即 Us 二 Us@Us ,如 图 8-16 所 示 。 则 可 
U; 0 1 
求 得 信 源 [7 的 概率 分 布 为 | [| 
时 0.5 0.5 
于 (U) 二 0. 5bit/ 符 号 。 传 输 时 Ri 二 有 H(U) 二 1bit/ 符 号 ,而 此 时 Rs 一 H(Us/U1) 二 0. 5bit/ 
符号 。 即 在 已 知 Ui 的 情况 下 ,要 确定 U 只 需 0. 5bit, 而 不 是 原来 的 1bit。 因 为 ,Ui 与 U。 


]05=HUD=1biy/ 符 号 ,HUs/U0= 
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有 关联 性 ,已 知 U 时 ,已 经 提供 了 关于 Us 的 信息 量 为 I(U,;U1) 二 H(U,) 一 H(U,1U1)== 
0. 5bit/ 符 号 ,因而 只 需 再 获得 有 (U1Ui ) 的 信息 量 ,T(U;Ui) 十 昌 (Us|U1) 二 日 (U;), 就 能 
完全 确定 U,。 由 此 可 见 , 编 码 时 只 需 保证 Ri, 之 瓦 (U) ,RH(U,|U) ,就 能 实现 两 个 信 源 
的 无 失真 传输 。 这 种 由 Un 提供 的 关于 Us 的 信息 T(U; ;Ui) ,或 者 由 Ui 提供 的 关于 Us 的 
信息 , 称 为 边 信 息 (side information) 。 


信 源 已 二) 一 一 =| 信 源 已 一 | 编码 器 一 
信 源 上 一 | 编码 器 1 RI 


图 8-16 例 8-4 图 


定理 8-2 ”相关 信 源 编码 定理 : 
对 于 任意 离散 无 记忆 信 源 U 和 Us, 条 件 炳 为 日 (Ui1U;)、H (Us |Ui ) ,联合 焙 为 
五 (0 ,Us) ,对 半 次 扩展 信 源 进行 信 源 编码 ,对 任意 给 定 的 s>0, 只 要 码 率 同时 满足 
Ri 宇 H(U | U;) 
R; 宇 H(U; | UU) (8-4-3) 
及 十 R: 之 万 (UU:) 
当 允 足够 大 ,平均 译 码 错误 概率 P. 一 se。 
这 个 定理 是 网 络 信 源 编码 理论 的 第 一 个 结果 ,由 Slepian 和 Wolf 在 1973 年 给 出 ,因而 
该 定理 也 称 为 Slepian-Wolf 定理 。 两 个 相关 信 源 编码 的 可 达 速 率 域 如 图 8-17 所 示 的 阴影 
部 分 。 该 定理 揭示 了 当 两 个 信 源 统计 相关 时 ,如果 译 码 器 译 码 时 能 够 彼此 提供 译 得 的 有 关 
两 个 信 源 输出 的 结果 , 则 两 个 编码 器 独立 地 编码 时 不 必 分 别 保证 最 大 信息 速率 , 即 H(U) 
和 惠 (U;), 就 可 实现 任意 可 靠 通信 。 不 同 的 速率 对 (Ri ,R: ) 的 选择 下 ,两 个 译 码 器 彼此 能 够 
提供 的 边 信息 不 相同 ,但 只 要 在 可 达 速 率 区 域内 ,接收 到 的 有 关 Ui、U， 的 总 信息 量 R 二 
五 (U ,U2: ) ,就 足以 确定 U 和 Uz: 。 


H(U’) 


HUIU) 


大 CO) HU) HUU) Ri 
图 8-17 ”Slepian-Wolf 相关 信 源 编码 可 达 速 率 域 


224 ”信息 论 与 编码 ( 第 3 版 ) 


定理 8-3 ”相关 信 源 编码 逆 定 理 : 
如 果 速 率 对 (Ri ,R;) 不 满足 式 (8-4-3), 则 无 论 n 多 大 ,平均 译 码 错 误 概率 P。>e。 


8.4.2 具有 边 信 息 的 信 源 编码 


若 两 个 信 源 U 和 Us 之 间 统 计 相 关 , 即 式 (8-4-2) 不 成 立 , 且 两 个 信 源 之 间 有 相互 通信 
联络 。 编 码 器 1 对 信 源 1 输出 进行 编码 时 可 参考 由 信 源 2 提供 的 信息 ,或 者 编码 器 2 对 信 
源 2 输出 进行 编码 时 可 参考 由 信 源 1 提供 的 信息 。 可 以 想象 ,由 于 有 了 边 信 息 (side 
information) ,这 样 协 同 编码 应 该 比 单独 编码 更 有 效 。 本 节 研 究 具有 边 信息 的 信 源 编码 
问题 。 

如 图 8-18 所 示 , 从 表面 上 看 它 与 8. 4. 1 节 研 究 的 相关 信 源 编码 问题 很 相似 ,但 是 这 两 
个 问题 的 区 别 是 很 大 的 。 这 里 译 码 器 只 是 希望 估计 出 信 源 Ui 的 输出 ,对 信 源 Us 的 数据 进 
行 编码 的 目的 ,只 是 作为 边 信息 以 辅助 译 码 器 恢复 信 源 U ,而 不 需要 保留 信 源 Us 本 身 的 信 
息 。 因 此 , 信 源 Us 所 提供 的 边 信息 可 以 压缩 到 小 于 它 自身 的 粹 值 ,而 信 源 U, 的 数据 能 够 
很 好 地 进行 无 失真 压缩 。 


[ei | a | 译名 一 i 
AP 
[ 信 泊 | 一 [ 编 吧 器 | 


图 8-18 具有 边 信息 的 信 源 编码 


可 以 证 明 四 ,图 8-18 所 示 系 统 的 可 达 速 率 域 如 图 8-19 所 示 。 图 中 双重 斜 线 区 与 图 8-17 
相同 ,为 两 个 编码 器 独立 工作 时 所 要 求 的 速率 区 。 所 有 和 斜 线 区 是 为 恢复 信 源 Cn 输出 所 必须 
提供 的 编码 速率 域 。 显 然 ,R 王 瑟 (U) 和 Rs:=0 是 可 达 的 ,Ri 二 HUi1U;) 和 R;, 二 HH(U;,) 
也 是 可 达 的 。 当 Rs 二 H(U;) 时 , 译 码 器 不 能 确定 信 源 Us 的 输出 信息 。 

Ry 


成 UL) 


HU 


MUI |— — — -I— 


A ff: 
成 OO 所 DR Ri 
图 8-19 译 码 器 只 恢复 信 源 1 信息 的 相关 信 源 编码 可 达 速率 域 
一 种 具有 边 信 息 的 信 源 编码 的 简单 模型 如 图 8-20 所 示 。 由 于 U; 与 Un 无 关 ,Us 可 以 
看 成 是 将 Un 作为 输入 的 虚拟 信道 的 输出 。U; 编码 器 的 输出 可 用 辅助 的 随机 变量 Z 来 描 
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述 。Z 是 一 个 虚拟 随机 变量 , 它 表 示 U; 经 编码 器 后 的 单个 符号 输出 。 


信 源 U =| 编码 器 | 
U U; 
| 虚拟 信道 上 | 编码 器 | 


图 8-20 单 符 号 具有 边 信息 的 信 源 编码 


从 单 符 号 的 观点 ,Us 中 每 个 符号 是 根据 转移 概率 矩阵 P(=|1Us ) 编 码 成 Z 的 相应 的 符 
号 。 随 机 变量 Z 的 符号 集 的 个 数 和 转移 矩阵 是 根据 使 误 码 率 最 小 来 选择 的 。 译 码 器 对 Z 
进行 译 码 ,但 Z 不 直接 依赖 于 Ui ; 而 译 码 器 对 Un 的 压缩 数据 流 进 行 译 码 。 基 于 这 两 种 输 
入 , 译 码 器 输出 信 源 U 的 序列 估 值 wi 。 

从 图 8-20 知 , 若 R:=0, 就 相当 于 单 用 户 通信 ,要 做 到 无 失真 编码 ,必须 Ri 宇 H(Ui)。 
车 RR 宇 昌 (U2), 只 须 Ri 宇 H(U11U;), 足 以 描述 信 源 U,。 又 因为 R, 宇 H(U,) 能 够 精确 地 描 
述 信 源 Us , 故 ZU,。 这 样 ,Ri 宇 H(U1|2)。 一 般 情 况 下 , 若 Rs 宇 1(Us;2Z) 来 近似 描述 信 
源 Us ,对 译 码 器 来 说 ,要 重 现 信 源 Ui ,除了 Un 传 来 的 关于 信 源 Ui 的 信息 外 , 边 信息 Z 也 含 
有 关于 信 源 U 的 信息 。 因 此 ,要 无 失真 地 再 现 信 源 Un ,R 可 以 减 小 至 Ri 二 HH(U112Z) 就 可 
以 了 。 这 一 分 析 结 果 和 下 面 定理 是 一 致 的 。 

定理 8-4 具有 边 信息 信 源 编码 定理 : 信 源 Un 以 速率 Ri 编码 , 信 源 Us 以 速率 R, 编 
码 ,对 于 离散 无 记忆 信 源 Un , 若 译 码 器 含有 来 自信 源 Us 的 边 信息 , 则 当 且 仅 当 

Ri 之 H(U, |2), R; > 1(U,;2) 
存在 无 失真 信 源 编码 ,使 其 译 码 错误 概率 为 任意 小 。 其 中 2 为 离散 随机 变量 , 它 使 Ul 一 
Us 一 Z 构成 马 氏 链 。 

下 面 讨论 在 有 边 信 息 ,并且 允许 有 一 定 失 真 度 的 情况 下 ,描述 信 源 所 需 的 最 小 速率 。 

图 8-21 示意 了 多 个 信 源 编码 的 区 域 ,图 中 Ri ,R; 平面 被 划分 为 4 个 区 域 。 其 中 阴影 
区 中 ,Ri 和 R; 都 足够 大 ,两 个 信 源 都 可 实现 无 失真 信 源 编码 。 在 其 左边 和 下 方 的 两 个 区 域 
中 ,一 个 信 源 的 信息 传输 率 较 大 ,可 以 无 失真 地 恢复 原 信 源 ; 而 另 一 个 信 源 的 信息 传输 率 较 
小 ,尽管 可 利用 信息 传输 率 大 的 信 源 作为 边 信 息 ,但 仍 为 有 失真 信 源 编码 。 在 左下 角 的 区 
域 ,两 个 信 源 的 信息 传输 率 都 很 小 ,对 这 两 个 信 源 都 需要 进行 有 失真 编码 (数据 压缩 )。 当 
然 ,在 这 个 区 域 中 , 译 码 器 可 以 利用 两 信 源 之 间 的 依赖 关系 ,减少 再 现 信 源 所 引起 的 失真 。 
但 实现 多 个 信 源 的 有 失真 编码 仍 是 一 件 较 困难 的 事情 。 

下 面 主要 讨论 图 8-21 的 无 失真 和 有 失真 编码 区 。 即 一 个 信 源 可 以 实现 无 失真 编码 , 设 
为 U;; 而 另 一 个 信 源 要 实现 有 失真 编码 , 设 为 Un , 即 图 中 左边 区 域 ,Us 作为 Un 的 边 信息 ， 
方 框图 如 图 8-22 所 示 ,其 单 符号 的 简单 模型 如 图 8-23 所 示 。 所 要 研究 的 是 ,在 具有 边 信息 
和 允许 一 定 失真 度 的 情况 下 , 信 源 U, 的 每 个 信 源 符号 的 信息 传输 率 Ri, 是 多 少 。 

图 8-23 中 ,编码 器 的 输出 是 根据 虚拟 随机 变量 W 来 描述 的 ,W 代表 已 压缩 了 的 数据 
流 。W 和 UU, 都 与 信 源 Ui 有 关 , 译 码 器 根据 输入 的 W 和 Us ,将 它们 映射 成 U 的 估 值 Di 一 
g(W,U,)。 

定义 在 具有 边 信 息 的 情况 下 ,达到 失真 D 的 最 小 信息 率 为 具有 边 信 息 的 信息 率 失真 函 
数 ,用 Ro,(D) 表 示 。 因 为 有 边 信 息 的 帮助 , 必 有 Ru, (D)<R(D)。 若 不 允许 失真 ,Ro,(0) 必 
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Rh 


U5 无 失真 
和 已 有 失 


真 编码 区 无 失真 编码 区 


H(U,) 


MID 无 失真 和 

1 * 
| 忆 有 失真 编码 区 
OIC MO) 总 


图 8-21 多 个 信 源 编码 的 区 域 


信 源 忆 [vv | 
U 


地 ry A 
[i 


图 8-22 具有 边 信 息 的 失真 信 源 编码 


言 源 U; 攻 1 
信 源 Ul [一 一 | 编码 器 一 | 译 码 器 一 
Us U W a 


图 8-23 单 符号 观点 的 具有 边 信息 的 失真 信 源 编码 


须 等 于 甩 (Ui1Us)。 一 般 情况 下 ,Ru,(D) 由 下 式 给 出 。 
Ru CD) = min min(I(Ui;W)— I(U,;W)) 
本 Pwu) g 


其 中 最 小 值 是 对 所 有 函数 g: Us XW>Ui ,以 及 条 件 概率 函数 pCwlia), 上 Wil 三 上 路 十 1 
进行 计算 的 。 且 满足 
DD >)puast)pala)dCaygGeaya)) 反 了 D 


U WwW Uz 

其 中 wEW,p(wliu) 是 达到 平均 失真 度 小 于 等 于 D 的 信道 转移 概率 , 译 码 函数 g 将 对 Ui 
编码 后 的 符号 W 和 边 信息 Us: 一 起 映射 成 输出 符号 Ul,。 所 以 ,Ru, (D) 是 在 所 有 W 和 8 满 
足 平均 失真 度 小 于 等 于 的 情况 下 , 求 取 极 小 值 。 当 边 信 息 给 定 , 允 许 失 真 D 增加 ,信息 率 
失真 函数 应 减少 。 所 以 Ru,(D) 是 D 的 非 递 增 凸 函数 。 

定理 8-5 具有 边 信息 的 率 失真 信 源 编码 定理 : 若 译 码 器 能 从 U, 获得 不 受 限制 的 边 信 
息 ,只 要 码 长 足够 长 , 则 存在 具有 失真 为 D 的 信 源 压缩 编码 ,其 信息 传输 率 任意 地 接近 
Ru (D). 

定理 8-6 ”具有 边 信息 的 率 失真 信 源 编码 逆 定 理 : 若 译 码 器 能 从 Us 获得 边 信息 ,对 有 
限 集 、 离 散 无 记忆 信 源 Us , 若 每 个 压缩 分 组 码 的 每 个 符号 的 平均 失真 度 为 D, 则 信 源 Us 的 
信息 率 R 满足 

及 三 Ru (D) 
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本 章 小 结 


本 章 介绍 了 网 络 信息 理论 的 基本 思想 和 部 分 结论 ,首先 介绍 几 种 典型 的 网 络 信道 类 型 ， 
讨论 多 址 接 入 信道 和 广播 信道 的 容量 区 域 。 在 分 析 相 关 信 源 编码 的 基础 上 ,给 出 了 具有 边 
信息 的 信 源 编码 定理 。 

网 络 信息 论 还 未 形成 统一 的 、 系 统 的 理论 ,是 目前 信息 论 中 一 个 活跃 的 研究 领域 。 显 
然 , 完 整 的 网 络 信息 理论 将 对 通信 网络 理论 和 计算 机 网 络 理论 有 着 重要 的 意义 。 

网 络 信道 可 分 成 下 列 几 种 典型 类 型 : 多 址 接 入 信道 、 广 播 信道 、 中 继 信 道 、 双 向 信道 、 反 
人 馈 信 道 、 多 用 户 网 络 信 道 等 。 

二 址 接 入 信道 的 容量 区 是 一 个 多 角形 的 凸 包 : 

CCP,,P:) = {(Ri1,R2):0 < RIX ;Y | X,) 
0<R, <I(X;Y | X1) 
0<R+R, SIX ,X,Y)} 
高 斯 多 址 接 和 人 信道 是 多 址 接 和 人 信道 的 重要 实例 : 


Q Ps 
二 总 1 
Ri 2iosl + ] 


R<™ jog (1 | RE 

对 于 任意 离散 无 记忆 信 源 U 和 Us ,所 有 的 可 达 速 率 对 (CR, ,R: ) 满 足 

Ri > HU | Us) 

R; > HU | U) 

Ri +R; > HU ,U,) 
具有 边 信 息 的 多 个 信 源 编码 ,其 速率 区 Ri .R; 平面 被 划分 为 四 个 区 域 。 
具有 边 信 息 的 情况 下 ,达到 失真 D 的 最 小 信息 率 , 为 具有 边 信息 的 信息 率 失真 函数 ,用 

Ru CD) 表示 : Ru CD)= min min(ICUi Ww) —1(UssW)) 


习题 


8-1 计算 下 列 多 址 接 入 信道 的 信道 容量 ， 

(1) 模 2 相 加 的 MAC,X1E1{0,1},X2€E{0,1},Y=X1@ X; 

(2) 乘法 多 址 接 人 信道 ,XiE {一 1,1},X2€{ 一 1,1} ,Y= 二 XX X,。 

8-2 如 图 8-24 所 示 的 协同 多 址 接 入 信道 、 

(1) 假设 X 和 XX 取 于 WIE {1,2,…,2"R1 ) ,WE{(1,2,…，,2"8:} ,所 以 码 字 zi (Wi， 
Ws) ,zo (Wi1 ,Ws) 依 赖 于 Wi 和 W, 的 标号 , 求 其 容量 区 域 。 
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(2) 对 于 二 端 接 入 二 元 删除 信道 , 即 Y 了 二 Xi 十 X,,X;E {0,1) ,计算 这 信道 容量 ,并 与 无 
协同 的 情况 进行 比较 。 


Xl 
-一 信道 
(Wh Wa) i plxixs) 了 
如 


图 8-24 习题 8-2 图 


(PP2) 


8-3 已 知 二 元 接 入 信道 的 输入 为 X 和 X; ,输出 为 了 ,信道 转移 概率 如 下 表 , 试 给 出 这 
信道 的 容量 区 的 下 限 。 


8-4 考虑 下 面 二 址 接 人 信道 : Xi 、Xs、Y 均 取 值 于 (0,1), 若 (Xi1,X:) 二 (0,0), 则 Y== 
0; 车 (Xi ,Xs)==(0,1), 则 Y=1; 若 (Xi,X)==(1,0), 则 Y=1; 车 (Xi ,Xs)==(1,1), 则 
p(y=1|xzi==1,xs 二 1)= 二 p(y 二 0|xzi 二 1,xs 二 1) 二 1/2。 试 证 明 速 率 对 (Ri ,R: ) 为 (1,0) 和 
(0,1) 是 可 达 的 。 

8-5 设 有 三 址 接 入 信道 ,其 转移 概率 密度 为 


《9 一 而 三 人 三 而 ) 
py(y | ziyzzyzs) 1 = = } 


1 
| 2 

并 已 知 输入 Xi 、X。 和 Xs 是 均值 为 零 ,平均 功率 分 别 为 P,、P。 和 P: 。 试 求 其 容量 区 域 的 
界限 。 

8-6 高 斯 加 性 广播 信道 如 图 8-25 所 示 , 信 源 U, 和 Us 相互 统计 独立 ,编码 器 输出 六 二 
Ui 十 Us 。 又 高 斯 加 性 信道 Ki 输出 六 ,高 斯 噪声 为 Ni 。 高 斯 加 性 信道 K; 输出 Y; ,高 斯 品 
声 为 N: 。 又 设 Ul 和 Us 都 是 均值 为 零 ,平均 功率 分 别 为 P, 和 P; 的 随机 变量 。 噪 声 Ni 一 
N(0,09) ,噪声 N 一 NC0 ,中 一 中 ) 。 试 计算 此 信道 的 容量 区 域 。 


Kl nh 


一 = @ 一 一 | 译 码 器 1 一 UY 
2 kb 五 
MMen) QO 一 =| 译名 名 2 vy 


Ni ~MO, oo?) 
图 8-25 习题 8-6 图 


8-7 设 Si 是 离散 无 记忆 二 元 信 源 ,.Z 也 是 离散 无 记忆 二 元 信 源 ,S, 和 2Z 相互 统计 独 
立 。 再 令 S: 一 Si 四 Z( 模 2 加 ), 又 设 Si 的 传输 速率 为 Ri,S 的 传输 速率 为 R,。 问 由 S; 和 
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S, 构成 的 可 达 速 率 域 是 什么 ? 车 S 和 2Z 都 是 等 概率 分 布 ,那么 R 和 Rs。 的 可 达 速 率 域 是 
什么 ? 

8-8 设 Xi 是 离散 无 记忆 二 元 信 源 ,p(X = 二 0) 二 pi,Z 也 是 离散 无 记忆 二 元 信 源 ， 
p(2Z=0) 二 ps ,Xi 和 2 相互 统计 独立 。 令 X: 一 Xi 四 Z( 模 2 加 ), 又 设 Xi 的 传输 速率 为 Ri ， 
Xs 的 传输 速率 为 R,。 求 出 由 R 和 Rs 构成 的 可 达 速 率 区 域 。( 注 : pi (1 一 ps) 十 ps (1 一 
Pi1) 可 用 pl * ps 表示 ) 


229 


附录 


本 书 所 用 主要 符号 及 含义 人 


A={a1M,as，…,an) ”包含 nn 个 元 素 的 符号 集 。 

B={bi,bs，… ,bn) ”包含 m 个 元 素 的 符号 集 。 

X ”输入 随机 变量 ,或 信 源 随机 变量 ; X= {zi ,zo，*… ,Tz0) ,XEA。 

Y ”输出 随机 变量 ,或 信 宿 随机 变量 ; Y={y1 ,ys，… ,ya} ,YE B。 

T 时 域 采样 间隔 ,f, 二 1/T 为 采样 频率 ,f,, 为 信号 最 高 受 限 频 率 ,te 为 信号 最 高 受 限时 间 。 

S 二 {51vs4,"… ,sq) ”包含 Q 个 状态 的 状态 集 。 

X=(X1, Xe, Ki KL) LL 长 输入 随机 序列 矢量 ,X={… ,zx-1 ,xo ,Ti } ,XEA' 

P(X=zxi) 输入 符号 概率 ,变量 X 取 z 的 先 验 概率 。 

p(X=zi|lY=yj) 三 p(xi|y;) 条件 概率 ,或 变量 X 的 后 验 概率 。 

p(Y=y|X=x) = p(y 1x)=ps,i=1,2,..,g; j=1,2,.,Q 条 件 概率 ,或 离散 无 记忆 信道 转移 
概率 。 

p(X=Zxi,Y=y,) = plzi yj) (X. 了 的 联合 概率 。 

px(X=zi) ”输入 连续 信号 的 概率 密度 函数 。 

px(X=zilY=yj) 三 px(zily) ”条 件 概率 密度 函数 。 

py(Y=y)|X=z1) 三 py(yj|z1) ,i 二 1,2,…,q; j= 二 1,2,…,Q ”条 件 概率 密度 函数 ,或 连续 无 记忆 信道 
转移 概率 密度 。 

pxx (X=zi, 了 二 yj) 三 pxx(zxiy;) ”(X. 耻 的 联合 概率 密度 函数 。 

ps1si) 二 ps ”从 状态 i 转移 到 状态 j 的 状态 转移 概率 。 


pu pr pr 
p= pa pz pas 转移 概率 矩阵 。 


p(zi1si) 在 状态 i 时 出 现 符号 xz; 的 符号 条 件 概 率 。 
p(Y=0|X=D)=p(Y=1|X=0)=p,p(Y=1|X=1)=p(Y=0|X=0)=1 一 p ”BSC 信道 转移 概率 。 
G 零 均 值 .方差 为 一 的 高 斯 随机 变量 。 

nlt) 加 性 噪声 过 程 的 一 个 样本 函数 。 

H(X) 输入 符号 的 信息 炉 。 

H.(X) 连续 输入 符号 的 相对 炉 。 


4 附录 ”本 书 所 用 主要 符号 及 含义 


H(X) 一 H(X*) ”离散 信 源 工 长 序列 炉 。 
HL(X) 离散 信 源 工 长 序列 的 平均 符号 炉 。 
H(XIY)、.H(YIX) 条件 和 。 

I(X;Y) ”输入 XX 与 输出 Y 的 平均 互信 息 。 


WW" 二 [WI? W 弛 … Wm"”] nn 时 刻 概率 分 布 和 拓 量 ,其 中 W)” 二 P{X, 二 5;}。 
7 “信息 效率 ,编码 效率 。 
元 余 度 , 码 的 剩余 度 。 


7 
Ki 编码 后 码 字 的 平均 码 长 (m 进 制 ) 。 


KK 编码 后 对 应 信 源 符号 的 平均 码 长 (单位 为 bit) ,KR 一 分 :logm。 


R ” 码 率 ,每 二 进 码 元 携带 的 信息 量 , 即 信息 传输 率 (效率 )。 
d(zx,y) 失真 函数 。 

万 。 平均 失真 。 

R(D) 信息 率 失真 函数 。 

C I(X;Y) 的 最 大 值 , 即 信道 容量 。 

E,/N。 ”比特 信 噪 比 ( 能 噪 比 )。 

po NN 维 矢量 空间 。 

m= (mi m2 re Mk) 消息 组 。 

C=(c1yc29"" CN) EXN 码 字 ,其 中 码 元 a，*… ,cw EX= {xo sz1 "Ty-1}。 
r=(riyrar ry) EYN 接收 码 。 

P. 差错 概率 。 

P。 ”平均 差错 概率 。 

dm 码 的 最 小 距离 。 

t+ ” 纠 错 能 力 。 
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加 一 10/25 
2-1 1 加 一 9/25 
ps=6/25 
状态 图 见 图 P2-1。 
p(00)=5/14 
p(11)=5/14 
p(01)=2/14 
p(10)=2/14 
状态 图 见 图 P2-2。 
2-3 (1) 4.17bit 
(2) 5. 17bit 
(3) 4. 337bit/ 事 件 
(4) 3. 274bit/ 事 件 
(5) 1.7105bit 
2-4 (1) 1bit 
(2) 0. 08bit 
(3) 2bit 
2-5 1.42bit 
2-6 4.17bit,2.58bit 
2-7 (1) 1.415bit,2bit,2bit,3bit 
(2) 87. 81bit,1. 95bit/ 符 号 
2-8 2 倍 ,3 倍 
2-9 (1) T( 划 ) 二 2bit,T( 点 ) 二 0. 42bit 
(2) 0. 81bit/ 符 号 
2-10 (1) 0. 92bit 
(2) 0. 86bit 


2-2 


2-11 


2-13 


2-17 
2-18 


2-19 


2-20 


2-21 


2-22 


2-23 


部 分 习题 参考 答案 
一 一 一 一 一 
(3) 0. 94bit 
(4) 0. 91bit 


(1) H(colour)=1. 24bit 

(2) H(colour,number)=H(number)=log38=5. 25bit 

(3) H(number/colour)=H(colour,number)— H(colour)=4.01bit 

(1) H(X,Y)=2. 3bit/ 符 号 

(2) H(Y)=1. 58bit/ 符 号 

(3) H(X/Y) = 二 0.72bit/ 符 号 

(1) H(X)=1bit, H(Y)=1bit, H(2)=0. 54bit, H(X,2)=1. 41bit, H(Y,2)= 
1.41bit,H(X,Y,2)=1. 81bit 

(2) HC(XIY)=H(Y|X)=0. 81bit, H(X|Z)=0. 87bit, H(Z|X)=0. 41bit, H(Y|2)= 
0.87bit,H(ZIY)=0. 41bit,H(XIY,Z)=H(Y|X,2Z)=0. 4bit, H(Z|X,Y)=0 

(3) I(X;Y)=0. 19bit, I(X;Z)=1(Y;Z2)=0. 13bit, I(X;Y|2)=0. 47bit, I(Y;Z|X)= 
I(X;Z|Y)=0. 41bit 

(1) 0. 41bit/ 符 号 

(2) 0. 31bit/ 符 号 

log2(1—e) ,log2e 

(1) 0. 8813bit/ 符 号 

(2) 0. 513bit/ 符 号 

(3) 略 

2.1X10sbit/ 帧 ,1.33X104bit,157895 个 汉字 

由 于 /(z) 是 定义 在 x 上 的 实 函 数 , 则 f(x) 的 定义 域 必 定 小 于 等 于 xz 的 定义 域 ,所 以 

f(z) 的 不 确定 度 小 于 等 于 xz 的 不 确定 度 , 即 H[f(z)] 二 HC(X)。 只 有 当 /在 x 的 集 

合 上 均 有 定义 , 且 一 一 对 应 ,没有 相同 定义 时 , f(z) 的 不 确定 度 等 于 xz 的 不 确定 度 。 

& 一 1/2,H.(CX) 王 1/2nat/ 符 号 


2 


证 明 ，H.(CX) 一 log 于 , 方 差 DCX) = 羡 ， 


具有 同样 方差 的 正 态 变量 的 连续 入 
2 Vre 
A 
(1) H.C(X)=2. 58bit 
(2) H.C(X)=3. 32bit 
(3) 从 上 述 (1) 和 (2) 的 结果 看 出 , 当 变量 的 范围 增 大 时 ,信息 箭 将 增加 。 这 与 变量 范 
围 大 ,不 确定 度 就 大 的 结论 是 一 致 的 。 

(1) 2. 58bit (2) 4,3 


为 H‘(X)=log 


»* HX)<HX), 


H.(X) = 地 log2reS 


HY 一 去 log2xe(S+N) 


H.(X,Y)=log2xe VSN 
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三 道 S 
I(X;Y)= 了 iog( 1+ 总 】 


H.(YIX) 一 去 log2xeN 
1 
2 
TCX;Y) 王 (logsr 一 logse)bit/ 符 号 
2-25 (1) 0. 81bit/ 符 号 
(2) 41 十 1. 59m 
(3) 81bit/ 序 列 
2-26 3.415bit/ 符 号 
2-27、2-28 ”证 明 上 略 。 
2-29 (1) 联合 炉 H(Xi1 ,Xs,X3) 二 3.968bit 
平均 符号 炉 Hi(X) 二 1. 323bit/ 符 号 
(2) 极限 1. 25bit/ 符 号 
(3) Ho 二 log 2 一 log3 一 1.58bit/ 符 号 ,> 一 1 一 人 一 1 一 ( 瓦 - /Ho) 一 0.21 
有 Hi 二 1.4137bit/ 符 号 ,Y=1 一 1.25/1. 4137==0. 115 
Hs, 二 HH 二 1. 25bit/ 符 号 ,Y=0 
2-30 0. 69bit/ 符 号 
L/3. 1/8: 1/8 
2-31 P=|1/3 1/3 1/3|,H-(CX)=1.435bit/ 符 号 
1/2 1/2 0 
状态 转移 图 见 图 P2-31。 
2-32 (1) p(0)=p(1)=p(2)=1/3 
(2) (1—p)log(1/(1—p))+plog(2/p) 
(3) 1. 58bit/ 符 号 
(4) p= 二 2/3 时 ,maxHH 二 1. 58bit/ 符 号 ;p= 二 0 时 , H==0; 
p=1 时 ,H=1。 Peal 
2-33 (1) 1/3 (2) H(p,1 一 p) (3) 0, 确 定性 信 源 
3-1 (1) HH(X) 二 0. 815bit/ 符 号 ,H(XIY) 二 0.749bit/ 符 号 ,H(Y|X) 二 0. 91bit/ 符 号 ， 
I(X;Y) 二 0.066bit/ 符 号 
(2) 信道 容量 0. 082bit/ 符 号 ,输入 符号 概率 分 布 p(xo) 二 p(x1) 二 1/2 
(3) 绝对 宛 余 度 0.016bit/ 符 号 ,相对 元 余 度 19. 5%。 


3-2 (1) HOY) > alogG1+a) Helogl a)bit/s 


2-24 H.(X)= H.(Y)= (gm— loge pir/ 符 号 , H. (X,Y) = logsxr? bit/ 符 号 ， 


(2) HGY1XD) 一半 一 人 bit/s 


(3) C=0. 16bit/s, p(x1)=0.6,p(xs)=0.4 
3-3 ”信道 容量 919bit/s 
3-4 C=log(2 十 29®9) 一 H(e)。 当 c= 二 0 时 ,C==1. 58bit; 当 e==1/2 时 ,C=1bit。 
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全 一 一 一 一 一 一 一 一 


3-5 C=1—H(1—p—e,p—e,2e)—2elog4e—(1—2e)log(1—2e) 
C:=1—H(l1—p—e,p—e,2e)—2elog2e—(1—2e)log(1—2e) 
“0<e<1/2 
SG 
3-6 C=1bit/ 信 道 符号 ,p(x1)==p(zxs)==p(zx3)==p(z)=1/4 
3-7 (1) C=1—H(l—e—p,p'e))+H(p)—p 
(2) C=1—p 
(3) G=1—H(e) 
(4) Cs(e 二 0.125) 二 0.457bit/ 符 号 ,Cs(p 二 0.5) 二 0. 5bit/ 符 号 ,p= 二 0.5 时 的 删除 信道 
更 好 。 
3-8 (1) 1.46bit/ 符 号 
(2) 1. 18bit/ 符 号 
(3) 0.8 
(4) 0.73 
(5) 0.73 
(6) 较 差 
(7) 1.58bit/ 符 号 ,1. 3bit/ 符 号 
3-9 C=19.5Mbit/s 
3-10 W=3MHz 
3-11 (1) C=3.46Mbit/s 
(2) W=1. 34MHz 
(3) SNR=120 
3-12 (1) 信道 的 传输 速率 为 2bit/s, 信 源 不 通过 编码 时 输出 的 速率 为 2. 55bit/s, 所 以 不 能 
直接 与 信道 连接 。 
(2) 信 源 通过 二 次 扩展 编码 ,最 低 的 输出 速率 可 降低 到 1. 84bit/s, 可 以 在 信道 中 进行 
无 失真 传输 。 
3-13 ”信道 容量 为 0. 86bit/ 符 号 ,10s 能 够 传输 12876bit ,而 信 源 有 14000bit, 所 以 不 能 无 失 
真 地 传送 。 


He 
4-1 d= 'D=e 
1 0 


1 0 
4-2 De=o.RCO)= IDit/ 符 号 .P=| "| 


0 1 
De=1/2,.RO/D=0.P=| 。 | 


4-3 Du 一 0,R(0) 一 2bit/ 符 号 ,了 一 


Oo-0o 
OPPoo 
2 Oo 


1 
0 
0 
0 
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4-4 


4-5 


4-7 


4-8 


S-5 


57 


Dmx 二 3/4, R(3/4) 一 0, 相 应 编码 器 可 以 有 多 种 ,其 中 一 种 的 转移 概率 和 矩阵 
0 


wy 

| 
ps tpt 
ooooc 
ooooc 
南 ' 起 大 


1 0 0 
Ds=0.R(0)==1bit/ 答 号 ,p=| | 
0 -0 


00 1 
Du.=I4RG/D=oP=| ] 
0 0 1 
(1) D=g(1—p) 
(2) maxR(D)=H(U) plogp—(1—p)log(1—p); g=0 时 ,D=0。 
(3) minR(D)=0; g=1 时 ,D=1—p 
(4) 图 略 。 
R(D)=1—D 


D 
Dlog 一 一 一 一 十 一 D) 一 <D<o. 
ROD)= log a Dy log5(1 ) 一 0. 8log2 0<D<0.4 


(D—0.2)log(D—0.2)+(1—D)log(1—D)—0. 8log0.4, 0.4<D<0.6 


略 

dCi 

(2). YG 

(3) H(X)==2bit/ 符 号 ,66.7%,94.1%,94.1%,80% 

(1) 200bit/s, (2)198. 55bit/s, (3)200bit/s,198. 55bit/s 

(1) 0.541bit/ 码 元 时 间 

(2) 71.4% 

(1) 7/4bit/ 符 号 

(2) 7/4 二 进 制 码 元 /符号 

(3) po=1/2,P1=1/25pC1|1)=1/3,pC0|1)=2/35p(110)=1/2;,p(010)=1/2 

(1) 1. 98bit/ 符 号 

(2) p(0)=0.8,p(1)=0.2 

(3) 7 一 0. 66 

(4) 0,10,110,1110,11110,111110,1111110,1111111 

(5) 7 一 1 

(1) 含 有 3 人 或 小于 3 个 "0" 的 信 源 序列 共有 [0 ]+ (+ 2 ]+( 3 )=160751 
种 , 若 用 二 进 制 码 元 构成 定 长 码 , 则 需 最 小 长 度 为 18bit。 

(2) 0. 0016 

(1) 1,01,001,0001,00001,…,0…01(G 一 1 个 “0 和 1 个 “1?) ,… 

(2) 1 十 2/4 十 3/8 十 … 十 i/2: 十 … 

Ca 
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全 


5-8 1,00,01,02,20,21; 7 一 0.93 
5-9 当 信 源 具 有 N 二 2 个 符号 时 ,每 个 符号 的 码 字 长 度 相 等 且 为 i bit, 平 均码 长 为 ibit; 而 
当 信 源 具有 N 二 2 十 1 个 符号 时 ,其 中 2: 一 1 个 符号 的 码 字 长 度 为 i bit,2 个 符号 的 码 


字 长 度 为 (i 十 Dbit, 平 均码 长 为 (i 十 二 后 7 jbit。 
5-10 (1) 2. 23bit/ 符 号 
(2) 00,01,10,110,1110,1111; 96. 96% 
(3) 1. 62X105 
5-11 (1) 2. 35bit/ 符 号 
(2) 00,010,100,101,1110,11110; 82.7% 
(3) 10,00,01,110,1110,1111,97.9% 
(4) 1,2,00,01,021,022; 93.8% 
(5) 3bit/ 符 号 ,78.3% 
(6) 2, 1 X105 
5-12 (1) 2.55bit/ 符 号 ,2. 55bps 
(2) 011,001,1,00010,0101,0000,0100,00011,97.7% 
(3) 1001,011,00,11100,11011,1010,1100,11110,80. 4% 
5-13 (1) c,aa,ac,ba,bb,bc,aba,abb,abc( 方 差 小 ) 或 b,c,ab,ac,aab,aac,aaaa,aaab, 
aaac; 0.95 
(2) a,ba,bb,caa,cab,cba,cbb,cbca,cbcb; 0.81 
或 a,ca,cb,baa,bab,bba,bbb,bca,bcb; 0. 84 
或 c,ba,bb,aa,aba,abb,aca,acba,acbb; 0. 87 
5-14 (1) 1,00,011,0100,01011,010100,010101; 7 一 0. 95 
(2) ayb,caycb,cca,ccb,ccc; 7 一 1 
(3) 二 进 制 信道 花费 4. 33 元 ,三 进 制 信道 花费 3. 9 元 ,因而 在 三 进 制 信道 中 传输 码 元 
可 得 到 较 小 的 花费 。 
5-15 ”符号 炉 为 0. 47bit/ 符 号 ,平均 代码 长 度 为 0.533bit/ 符 号 ,编码 效率 为 88%。 信 和 道 码 
率 为 53. 3bit/s, 存 储 器 半 满 为 186bit ,存储 器 容量 为 372bit。 若 信道 码 率 为 50bit/s， 
小 于 输入 信道 符号 的 速率 , 则 3min 后 存储 器 中 会 增加 594bit, 因 而 开始 时 存储 器 不 
应 到 半 满 , 故 存储 器 的 容量 可 略 小 于 (372 十 594)bit 一 966bit。 
5-16 ”人 码 长 为 6, 算 术 编 码 的 结果 是 101010 ,编码 效率 为 67. 58% 
5-17 LZ 编码 结果 是 0100011101011110011101 
5-18 7bit 
6-1 所 有 四 维 4 重 矢量 空间 : {1,0,0,0),{0,1,0,0),{0,0,1,0},{0,0,0,1},{0,0,0,0}， 
i eh eB a et 
{151,150} (1515051}s {0515151}; {1505151} 选 一 个 三 维 子 空间 : {1;0,0,0}， 
{0,1,0,0}; 对 偶 子 空间 : {0,0,1,0},{0,0,0,1) 
6-2 略 
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人 站 下 0 
| 
0 ULL 
[2 i 100 0 0 1 
6-4 ”发 码 为 : 0010110,0111010,1100010 
于 
6-5 vel oon! 
0 i 
LO LL-000 
wel 
1 iW 0010 
和 
(3) 略 
(4) 4 
(5) 略 
6-6 略 


6-7 (1) 若 选 g(x) 二 x 十 xz? 十 zx 十 1, 所 有 码 字 除 0000000 外 具有 循环 性 : 
0010111,0101110,1011100,0111001,1110010,1100101,1001011 
车 选 g(x) 二 x 十 如 十 zx? 十 1, 所 有 码 字 除 0000000 外 具有 循环 性 : 
0011101,0111010,1110100,1101001,1010011,0100111,1001110 

下 站 让 于 
(2)G=|I0 10 1110 
和 让 
6-8 ”最 小 重量 的 可 纠 差错 图 案 为 0,1,z,z2,…,z, 由 sz) 王 EC(z)mod g(Cz), 可 得 8 个 对 
应 的 伴随 式 : 0,1,z,zz,z 十 1,zz 十 zz2z 十 z 十 1,z2z 十 1 

6-9 了 略 

6-10 ”CRC 校 验 码 是 (0110100011001111) 。 

6-11 赂 

6-12 (1)、(2) 略 (3) 自由 距离 di 二 6 

6-13 (1) 略 (2) 转移 函数 T(D) 二 Di/(1 一 2D), 自 由 距离 dt 二 5 

6-14 (1)、(2) 略 (3) 转移 函数 T(D) 二 D’/(1 一 2D?), 自 由 距离 di 一 6 

6-15 (1) 略 

(2) 转移 函数 T(D)=D’/(1 一 D 一 D;) 
(3) 自由 距离 di 二 7 
(4) 略 

7-1 CRISEYTU 

7-2 行 =1, 列 =9,Y 二 (0110) 

7-3 @ 27 

Q@7 


8-2 


8-3 


8-4 


8-5 


8-6 


部 分 习题 


RN 
噶 


考 答案 
OO 
@ 157 
本 :全 要 机 [本 本 
4,1,20,1 或 DATA 
Br 1495.17 14,13517 
4,5,1,4,5,14,4 或 DEAD END 
8,4; 8,16 
Boby T1451 
(1) C(P,,P;)={(Ri;R:) :0<R SC =1bit/ 符 号 
0 三 R, 志 Cs 二 1bit/ 符 号 
0 和 Ri 十 R: 和 Ca 一 1bit/ 符 号 } 
(2) 等 同 于 (1) 
(1) C(P, ,P:) 王 (CR ,R:) :0 和 Ri 入 TICX ,X:3Y) 
0<R:<I(CX1 ,Xz;Y) 其 中 plzi,zs)=pi(zi) pz (rz) 
0<Ri+R:<ICX, ,X23Y))} 
(2) C1 ==Cs = 二 Cz 二 1. 5bit/ 信 道 符号 


CPi, Pi) ={(Ri,R) :RS<C,= = tlo g[2-Ao/a-z9 2-2/0 -2 ] 


Rs<C:= 也 忆 十 log[2- 贱 214 一 2 十 2-24-22)]] 


Se 


上 式 中 ,虽然 C1 三 C;, 但 是 达到 Ci、.Cz 和 Ci 这 些 极 大 值 时 ,所 要 求 的 输入 概率 分 布 
plz) 和 p(xzs) 是 不 同 的 ,也 就 是 说 某 一 PCz) 和 (zz ) 分 布 不 能 同时 使 Ri 、R 和 Ri 十 
Rs 达到 极 大 值 。 所 以 ,容量 区 域 是 一 个 多 边 形 的 凸 闭 包 。 

略 


log(1+ ) 
log(1+ 清 | 
中 


= 二 os(1+ 有 号 


世人 攻 ce 一 S| 


及 十 Ra 和 Cu 一 


iog[ 
log [1+ 全 去 全 ] 


2) 
o 


及 :十 Rs 和 去 C2 = 


及 十 Rs: 委 Cu 一 


1 
2 
型 
2 
1 
了 log 1 


Ri+R;+Rs<Cs -yosl: 二] 


设 0<o<1, 则 此 高 斯 加 性 广播 信道 的 容量 区 域 为 
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Ri 二 Ci = Tiog( + 晤 :】 
1 


EL = a 
aPs 十 吧 


二 $10g(1 1 


8-7 R={(Ri,R;):RI>H(S|S,),R,;>H(Z) 
R=Ri+R:>H(S1)+H(Z)=H(S:)+H(S |S.,)} 
车 S 和 2Z 都 是 等 概率 分 布 ， 
R={(Ri,R,):Ri>1bit/sym.R,>1bit/sym 
R=Ri+TR,>2bit/sym)} 


Rh 


HY) 
=H(p*r) 


HYAX) 
= 成 站 


0 HA DH) ED 所 
+H(r)-H(p*r) =H(p) 
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